日本のサイトは AI ボットをどう扱っているか（robots.txt・llms.txt 定点調査）

「判定できた 719 サイト」は、robots.txt の内容（またはファイルがないこと）からボットごとの可否が決まったサイトです。「robots.txt ファイルがある 518 サイト」は、そのうち中身のある robots.txt を返したサイトです。

用途の区分は、各運営元の公式ページをもとに当社のボット登録簿で付けたものです。Google-Extended は巡回するクローラーではなく、Gemini などでの利用可否を伝えるための robots.txt 上の名前です。ほかの 33 ボット（Amazonbot、Applebot-Extended、Bytespider、meta-externalagent、ChatGPT-User、Claude-User など）の数字は CSV にあります。

robots.txt で Googlebot を許可していないサイトは 0.8% にとどまります。一方で、約 7 サイトに 1 サイト（15.0%）は、Googlebot を許可したまま、学習用の AI ボットを 1 つ以上許可していません。Googlebot と学習用ボットで robots.txt の扱いを分けるサイトが一定数あることが分かります。

2026年11月2日の記録（ラボ実験 #337 の結果と、第45週の robots.txt の再集計）

短く答えると： ChatGPT 検索について、今回の実験では「GPTBot を拒否したサイトのほうが名前を挙げられにくい」という差は見えませんでした。ただし、GPTBot を拒否しても問題ないと示したわけではありません。下の「この実験から言えないこと」と合わせてお読みください。

ラボ実験の結果（ChatGPT 検索のみ）

• 方法：Tranco の順位で上位の .jp ドメイン 1,000 件（Tranco 全体では 459〜57,386 位）のうち、GPTBot を robots.txt で拒否している（Googlebot は許可している）サイトと、拒否していないサイトを、業種ラベルが同じで順位が近いもの同士でペアにしました。ChatGPT（無料アカウント、日本語、一時チャット、日本の IP）に、サイト名を出さずに、その業種についての質問をして、各サイトにつき 2 回ずつ、回答にそのサイトが出るかを数えました。
• 数字はすべて 49 ペア・有効な 195 回（2026年10月28日〜2026年10月31日）のものです。そのうち、ペアの両側がそろった 193 回（拒否側 96 回、許可側 97 回）を比べています。
• 「差なし」と判断する基準は、ペアごとの差（拒否側 − 許可側）の平均が −0.05 より大きいことで、実験の前に固定しました。

リンクの −0.031 は、拒否側 2 ペアで、その企業の現在の主なサイトが対象リストのドメインとは別の登録ドメインにあったためで（事前に決めた規則では別ドメインを数えません）、差はこの 2 ペアから来ています。

拒否のしかた別に見ても（記述のみで、検定はしていません）、サイト名が出た回数は次のとおりでした。

この実験から言えないこと

• 「棄却」は、この回では差が見えなかったという意味です。 GPTBot を拒否しても影響がない、と証明したものではありません。
• 事前登録の外の観察（仮説の検定ではなく、ヒントです）。 GPTBot と OAI-SearchBot の両方を拒否しているサイトでは、そのサイトが回答の出典の引用チップとして示されたのは 7 / 42 回、対になる許可側のサイトでは 22 / 43 回でした。サイト名が出た回数はほぼ同じで（38 / 42 と 39 / 43）、リンクも付いていました。データを見たあとで気づいたことなので、事前に登録した新しい実験で確かめるまで、結論としては使いません。
• 天井効果。 名前が挙がったのは 90/96 回と 91/97 回で、ほぼ上限です。49 ペアのうち 36 ペアは、両側とも 2 回とも名前が挙がりました。質問をそのサイトの業種に合わせて書いたため、答えがほぼそのサイトを指しています。小規模なサイトや、一般的な質問、答えがそのサイトとは限らない質問では、結果は違うかもしれません。
• サイトが自分で選んだ設定です。 拒否するかどうかは各サイトの判断で、無作為に割り当てたものではありません。拒否の効果を測ったものではなく、業種ラベルが同じで順位が近いサイトを比べただけです。ペアを読み直した人が、業種がはっきり違うと感じたペアが 20 組以上ありました。ブランドの強さは揃えていません。
• 質問の言い回し。 100 問のうち約 70 問に「日本の」または「日本語で」が入っています。日本にいる人はあまりこう言わないので、実際の聞き方とは違います。
• 採点。 採点はモデルが行いました。日本語読みのモデルが 195 回のうち 64 回を読み直しましたが、人による読み直しはまだありません。Run を動かしたコードの code_sha は分かっていません（#374）。
• 実験の条件。 ChatGPT の無料アカウント 1 つ、1 台のマシン、日本の出口 1 か所、ChatGPT 検索のみです。ほかの AI の検索は測っていません。robots.txt は各サイトの申告で、OpenAI のボットの実際の動作を示すものではありません。
• 採点していない回があります。 上の数字は 2026年10月31日に採点した 49 ペアのものです。回答が空で無効になった 5 回の代わりの再実行 5 回（2026年11月2日 11:41〜12:20（UTC））は含まれていません。

robots.txt の側：GPTBot と OAI-SearchBot の組み合わせ

2026年11月2日に計測した第45週の保存済みデータを数え直しました。新しいリクエストは送っていません。robots.txt から判定できた 719 サイトを（ルールのないサイトはすべて許可として数えています）、GPTBot と OAI-SearchBot の組み合わせで分けると次のとおりです。

OAI-SearchBot を拒否している 38 サイトは、すべて GPTBot も拒否していました。OpenAI の学習用ボット（GPTBot）だけを拒否し、検索用のボット（OAI-SearchBot）は許可している組み合わせは 38 / 719（5.3%）です。

• 403 を返した 63 サイトは、当社の署名付きリクエストへの応答です。GPTBot や OAI-SearchBot への応答ではありません。robots.txt の中身が読めないため、上の 719 サイトには入っておらず、OpenAI のボットを許可しているか拒否しているかは分かりません。Server ヘッダーの内訳は、上の「robots.txt の段階で 403 を返したサイト」にあります。
• 数えたのは保存済みの robots.txt の文字列だけで、Disallow されているパスへのリクエストは送っていません。
• 小さい数は「<5」と表示しています（5 サイト未満のセルは数を公開しません）。

サイト運営者へ： ChatGPT 検索に載ることを重視するなら、GPTBot だけでなく OAI-SearchBot の設定も確認してください。上のラボ実験でも、両方を拒否したサイトは名前こそ 38 / 42 回で挙げられましたが、出典の引用チップとして示されたのは 7 / 42 回で、許可側の 22 / 43 回より少なくなっていました（事前登録の外で、ヒントにすぎません）。OpenAI は、OAI-SearchBot を拒否したサイトは ChatGPT の検索回答には表示されず、ナビゲーション用のリンクとしては表示されることがある、としています（https://developers.openai.com/api/docs/bots）。今回の実験は、この点を直接は測っていません。

対象の絞り込み

応答しなかった内訳：ドメイン名が解決できない 87、タイムアウト 42、そのほかの通信エラー 49、リダイレクトが多すぎる 7。判定できなかった内訳：403 が 63、5xx が 10。

取得の方法

• 各サイトに robots.txt の GET リクエストを 1 回送りました。https で、リダイレクトは 3 回まで追います。通信エラーのときだけ、www 付きのホストで 1 回再試行しました。
• ユーザーエージェントは migurei-ParallelWeb/0.1 (+https://migurei.ai/ja/scanner; research@migurei.ai) です。記録が残っている 725 サイト分のリクエスト（2,277 件）には、すべて Web Bot Auth の署名を付けました（署名なしは 0 件）。残りの 275 サイト分は、計測を途中で再開したため、リクエストの件数も署名の有無も記録していません。公開鍵は https://pw.migurei.ai/.well-known/http-message-signatures-directory にあります。
• 送信元は日本の IP アドレスです。
• llms.txt は、robots.txt が当社のユーザーエージェントを許可しているサイトにだけ、/llms.txt を 1 回取得しました（許可していなかったのは 719 サイト中 6 サイト）。
• /.well-known/api-catalog（RFC 9727）も、robots.txt が当社のユーザーエージェントにそのパスを許可しているサイトにだけ、1 回取得しました。リダイレクトは追わず、再試行もしていません。
• 読み取りだけです。フォームの送信、ログイン、購入などは一切していません。

判定の方法

• RFC 9309（Robots Exclusion Protocol）に従い、ボットごとに「パス / を取得してよいか」を判定しました。
• robots.txt の User-agent 行にバージョン表記（例：GPTBot/1.1）がある場合は、Google が公開している robots.txt パーサーと同じく、バージョンを除いた名前で照合しました。
• robots.txt が 404 などで存在しない場合は、RFC 9309 のとおり「すべて許可」としました。200 で HTML ページや指示のないファイルが返った場合は、そこに書かれている規則（つまり規則なし）として読みました。
• robots.txt が別の登録ドメインにリダイレクトされたサイト（23 件）は、そのサイト自身の規則とは言えないため、分母から除きました。

• robots.txt は「お願い」であって、アクセスを止める仕組みではありません。どのボットが実際にサイトを訪れているか、許可されていないボットが従っているかは、この調査では分かりません。
• 403 と 5xx のサイトは割合に入っていません。403 を返した 63 サイトがすべて GPTBot を許可していれば 9.7%、すべて許可していなければ 17.8% になります（5xx の 10 サイトはこの計算にも含めていません）。本当の割合は、この幅のどこかにある可能性があります。
• 「日本のウェブ全体」の数字ではありません。ある日の Tranco リストから選んだ .jp ドメイン 1,000 件です。.com など .jp 以外のドメインで運営されている日本のサイトは入っていません。
• 当社のユーザーエージェントでしか取得していません。GPTBot などの名前で来たリクエストに、各サイトがどう応答するかは分かりません。
• 判定したのはトップページ（/）だけです。特定のディレクトリだけを許可していないサイトは、この数には入りません。
• ドメイン名が解決できなかった 87 件には、一時的な失敗が含まれている可能性があります。
• 許可しないことの良し悪しは評価していません。どのボットに何を許すかは、サイトごとの判断です。

• 集計データ（CSV）：2026年11月2日計測（2026-W45）、全週の推移（series.csv）
• 集計値だけを公開しています。個別のサイトやドメインのデータは公開しません。5 件未満のセルは「<5」と表示しています。CSV の「denominator_definition」に「当社のサイトと除外したサイトを除く」とあるのは選定の規則です。この回に除外したサイトは 0 件でした。
• ライセンス：CC BY 4.0
• 引用・転載の際は、「出典：Parallel World (pw.migurei.ai)」と記載してください。例：出典：Parallel World (pw.migurei.ai)「日本のサイトは AI ボットをどう扱っているか」2026年11月2日計測

Parallel World（migurei）は、AI がサイトをどう見つけ、読み、引用するかを測るサービスです。この調査は、当社のスキャナーを使って当社が計測・集計しました。独立した第三者の確認は受けていません。

自社サイトの robots.txt や llms.txt の状態は、トップページの無料スキャンで確認できます（登録不要）。調査に使ったスキャナーについてはこちらをご覧ください。