日本語EN
Parallel World
無料でスキャンする

日本のサイトは AI ボットをどう扱っているか（robots.txt・llms.txt 定点調査）

最新：2026年10月26日計測（第1回）／毎週更新

日本でよく見られている .jp サイトは、ChatGPT や Claude、Gemini などの AI ボットに対して、robots.txt で何を伝えているのでしょうか。Parallel World は、Tranco ランキング上位の .jp ドメイン 1,000 件について、robots.txt と llms.txt を毎週同じリストで取得し、集計しています。会社名やドメイン名は出さず、件数と割合だけを公開します。集計データ（CSV）は CC BY 4.0 で自由にお使いいただけます。

  • 計測日時：2026年10月26日 17:38〜19:00（日本時間）
  • 対象：Tranco リスト W3ZV9（2026年10月25日版）の上位から順に選んだ .jp の登録ドメイン 1,000 件。除外したサイトはありません（0 件）。当社のサイト（migurei.ai、kiddihub.com）は .jp ドメインではないため、そもそも対象に入りません
  • 判定したボット：当社のボット登録簿 bots-2026-10-25 に載っている 39 ボット
  • 次回：同じ 1,000 件を 2026年11月2日に再計測する予定です

English

要点

  • robots.txt で GPTBot にトップページ（/）のクロールを許可していないサイトは、判定できた 719 サイト中 74 サイト（10.3%）でした。Googlebot を許可していないサイトは 7 サイト（1.0%）です。
  • robots.txt で学習用の AI ボットを 1 つ以上許可していないサイトは 111 サイト（15.4%）。そのうち Googlebot は許可しているサイトは 105 サイト（14.6%）でした。
  • 当社の署名付きリクエストに、robots.txt の段階で 403 を返したサイトは、自ドメインから応答した 788 サイト中 61 サイト（7.7%）でした。
  • llms.txt を自ドメインに置いているサイトは 1,000 件中 29 サイト（2.9%）。/llms.txt に 200 で HTML ページなどを返すサイト（ソフト 404）は、確認できた 777 サイト中 69 サイト（8.9%）で、llms.txt を置いているサイトの 2 倍以上でした。
  • robots.txt に Content-Signal を書いているサイトは 5 サイト未満でした。

ボット別：トップページ（/）のクロールを許可していないサイト

「判定できた 719 サイト」は、robots.txt の内容（またはファイルがないこと）からボットごとの可否が決まったサイトです。「robots.txt ファイルがある 515 サイト」は、そのうち中身のある robots.txt を返したサイトです。

ボット運営元用途判定できた 719 サイト中robots.txt ファイルがある 515 サイト中
GPTBotOpenAI学習74（10.3%）74（14.4%）
ClaudeBotAnthropic学習73（10.2%）73（14.2%）
CCBotCommon Crawl学習65（9.0%）65（12.6%）
Google-ExtendedGoogle学習63（8.8%）63（12.2%）
PerplexityBotPerplexity検索インデックス49（6.8%）49（9.5%）
OAI-SearchBotOpenAI検索インデックス39（5.4%）39（7.6%）
GooglebotGoogle検索インデックス7（1.0%）7（1.4%）

用途の区分は、各運営元の公式ページをもとに当社のボット登録簿で付けたものです。Google-Extended は巡回するクローラーではなく、Gemini などでの利用可否を伝えるための robots.txt 上の名前です。ほかの 32 ボット（Amazonbot、Applebot-Extended、Bytespider、meta-externalagent、ChatGPT-User、Claude-User など）の数字は CSV にあります。

robots.txt で Googlebot を許可していないサイトは 1.0% にとどまります。一方で、約 7 サイトに 1 サイト（14.6%）は、Googlebot を許可したまま、学習用の AI ボットを 1 つ以上許可していません。Googlebot と学習用ボットで robots.txt の扱いを分けるサイトが一定数あることが分かります。

robots.txt の段階で 403 を返したサイト

自ドメインから応答した 788 サイトのうち 61 サイト（7.7%）は、当社の署名付きリクエストに対して、robots.txt の中身ではなく 403（アクセス拒否）を返しました。Server ヘッダーを見ると、AkamaiGHost が 19 件、AmazonS3 が 13 件でした。AmazonS3 の 403 は、ファイルがないだけでも返ることがあるため、すべてがアクセス制限とは限りません。

この 61 サイトは、ボットごとの可否が判定できないため、上の表の分母（719）には入れていません。

llms.txt と Content-Signal

  • llms.txt を自ドメインの /llms.txt に置いているサイトは、1,000 件中 29 サイト（2.9%）でした。llms.txt を確認できた 777 サイトで見ると 3.7% です。
  • /llms.txt に対して、llms.txt ではなく HTML ページなどを 200 で返すサイトが、確認できた 777 サイト中 69 サイト（8.9%）ありました。いわゆるソフト 404 で、ファイルがあるように見えるため、確認の方法によっては「llms.txt あり」と数えられてしまうことがあります。
  • Content-Signal（robots.txt に、検索・AI の入力・AI の学習での利用可否を書く書式）を使っているサイトは 5 サイト未満でした。少数のため、正確な数は公開していません。

対象と調べ方

対象の絞り込み

段階サイト数
対象（Tranco 上位の .jp 登録ドメイン）1,000
ドメイン名が解決できた（ドメイン本体か www 付きのどちらか）909
robots.txt のリクエストに何らかの HTTP ステータスで応答した813
そのうち自ドメインから応答した（別ドメインへのリダイレクト 25 件を除く）788
robots.txt からボットごとの可否を判定できた719
そのうち中身のある robots.txt ファイルを返した515

応答しなかった内訳：ドメイン名が解決できない 91、タイムアウト 41、そのほかの通信エラー 48、リダイレクトが多すぎる 7。判定できなかった内訳：403 が 61、5xx が 8。

取得の方法

  • 各サイトに robots.txt の GET リクエストを 1 回送りました。https で、リダイレクトは 3 回まで追います。通信エラーのときだけ、www 付きのホストで 1 回再試行しました。
  • ユーザーエージェントは migurei-ParallelWeb/0.1 (+https://migurei.ai/ja/scanner; research@migurei.ai) です。すべてのリクエスト（2,396 件）に Web Bot Auth の署名を付けました。公開鍵は https://pw.migurei.ai/.well-known/http-message-signatures-directory にあります。
  • 送信元は日本の IP アドレスです。
  • llms.txt は、robots.txt が当社のユーザーエージェントを許可しているサイトにだけ、/llms.txt を 1 回取得しました（許可していなかったのは 719 サイト中 7 サイト）。
  • 読み取りだけです。フォームの送信、ログイン、購入などは一切していません。

判定の方法

  • RFC 9309（Robots Exclusion Protocol）に従い、ボットごとに「パス / を取得してよいか」を判定しました。
  • robots.txt の User-agent 行にバージョン表記（例：GPTBot/1.1）がある場合は、Google が公開している robots.txt パーサーと同じく、バージョンを除いた名前で照合しました。
  • robots.txt が 404 などで存在しない場合は、RFC 9309 のとおり「すべて許可」としました。200 で HTML ページや指示のないファイルが返った場合は、そこに書かれている規則（つまり規則なし）として読みました。
  • robots.txt が別の登録ドメインにリダイレクトされたサイト（25 件）は、そのサイト自身の規則とは言えないため、分母から除きました。

毎週の推移

同じ 1,000 件のリストを固定して、毎週計測します。リストを入れ替えないため、週ごとの差は、サイト側の設定の変化（または到達できたかどうかの変化）を表します。最新の週が一番上です。

週計測日GPTBot を許可していない学習用ボットを 1 つ以上許可していないrobots.txt で 403llms.txt あり
2026-W442026年10月26日74 / 719（10.3%）111 / 719（15.4%）61 / 788（7.7%）29 / 1,000（2.9%）

今は第 1 回だけです。2 回目以降は、この表に毎週 1 行ずつ加わります。

この数字から言えないこと

  • robots.txt は「お願い」であって、アクセスを止める仕組みではありません。どのボットが実際にサイトを訪れているか、許可されていないボットが従っているかは、この調査では分かりません。
  • 403 と 5xx のサイトは割合に入っていません。403 を返した 61 サイトがすべて GPTBot を許可していれば 9.5%、すべて許可していなければ 17.3% になります（5xx の 8 サイトはこの計算にも含めていません）。本当の割合は、この幅のどこかにある可能性があります。
  • 「日本のウェブ全体」の数字ではありません。ある日の Tranco リストから選んだ .jp ドメイン 1,000 件です。.com など .jp 以外のドメインで運営されている日本のサイトは入っていません。
  • 当社のユーザーエージェントでしか取得していません。GPTBot などの名前で来たリクエストに、各サイトがどう応答するかは分かりません。
  • 判定したのはトップページ（/）だけです。特定のディレクトリだけを許可していないサイトは、この数には入りません。
  • ドメイン名が解決できなかった 91 件には、一時的な失敗が含まれている可能性があります。2026年10月26日に再確認したところ、91 件中 5 件は解決できました。
  • 許可しないことの良し悪しは評価していません。どのボットに何を許すかは、サイトごとの判断です。

よくある質問

日本のサイトで robots.txt が GPTBot を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 74 サイト（10.3%）が GPTBot にトップページのクロールを許可していませんでした（robots.txt ファイルがある 515 サイトに限ると 14.4%）。

日本のサイトで robots.txt が ClaudeBot を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 73 サイト（10.2%）が ClaudeBot にトップページのクロールを許可していませんでした。

日本のサイトで robots.txt が CCBot を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 65 サイト（9.0%）が CCBot にトップページのクロールを許可していませんでした。

日本のサイトで robots.txt が Google-Extended を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 63 サイト（8.8%）が Google-Extended にトップページのクロールを許可していませんでした。

日本のサイトで robots.txt が PerplexityBot を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 49 サイト（6.8%）が PerplexityBot にトップページのクロールを許可していませんでした。

日本のサイトで robots.txt が OAI-SearchBot（ChatGPT 検索） を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 39 サイト（5.4%）が OAI-SearchBot にトップページのクロールを許可していませんでした。

日本のサイトで robots.txt が Googlebot を許可していない割合は？

Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 7 サイト（1.0%）が Googlebot にトップページのクロールを許可していませんでした。

robots.txt で学習用の AI ボットを許可していない日本のサイトはどのくらい？

Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、判定できた 719 サイトのうち 111 サイト（15.4%）が、robots.txt で学習用の AI ボットを 1 つ以上拒否していました。

Googlebot は許可したまま、学習用の AI ボットを robots.txt で許可していないサイトはどのくらい？

Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、判定できた 719 サイトのうち 105 サイト（14.6%）が、Googlebot は許可したまま学習用の AI ボットを 1 つ以上拒否していました。

当社の署名付きリクエストに robots.txt で 403 を返す日本のサイトの割合は？

Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、自ドメインから応答した 788 サイトのうち 61 サイト（7.7%）が、日本の IP から送った署名付きのボットのリクエストに、robots.txt の段階で 403 を返しました。

llms.txt を置いている日本のサイトの割合は？

Parallel World の 2026年10月26日の調査では、Tranco 上位の .jp ドメイン 1,000 件のうち、自ドメインに llms.txt を置いていたのは 29 サイト（2.9%）でした。

/llms.txt で HTML ページを返す日本のサイトはどのくらい？

Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、確認できた 777 サイトのうち 69 サイト（8.9%）が /llms.txt に llms.txt ではない HTML ページなどを 200 で返しており（ソフト 404）、実際に llms.txt を置くサイト（29 サイト）の 2 倍以上でした。

Content-Signal を使っている日本のサイトはどのくらい？

Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、robots.txt に Content-Signal を書いているサイトは 5 サイト未満でした。

データとライセンス

  • 集計データ（CSV）：2026年10月26日計測（2026-W44）、全週の推移（series.csv）
  • GitHub：https://github.com/theta-claude-dot/jp-ai-bot-census
  • 集計値だけを公開しています。個別のサイトやドメインのデータは公開しません。5 件未満のセルは「<5」と表示しています。CSV の「denominator_definition」に「当社のサイトと除外したサイトを除く」とあるのは選定の規則です。この回に除外したサイトは 0 件でした。
  • ライセンス：CC BY 4.0
  • 引用・転載の際は、「出典：Parallel World (pw.migurei.ai)」と記載してください。例：出典：Parallel World (pw.migurei.ai)「日本のサイトは AI ボットをどう扱っているか」2026年10月26日計測

出典

この調査について

Parallel World（migurei）は、AI がサイトをどう見つけ、読み、引用するかを測るサービスです。この調査は、当社のスキャナーを使って当社が計測・集計しました。独立した第三者の確認は受けていません。

自社サイトの robots.txt や llms.txt の状態は、トップページの無料スキャンで確認できます（登録不要）。調査に使ったスキャナーについてはこちらをご覧ください。