日本のサイトは AI ボットをどう扱っているか（robots.txt・llms.txt 定点調査）
最新：2026年11月9日計測（第3回）／毎週更新
日本でよく見られている .jp サイトは、ChatGPT や Claude、Gemini などの AI ボットに対して、robots.txt で何を伝えているのでしょうか。Parallel World は、Tranco ランキング上位の .jp ドメイン 1,000 件について、robots.txt と llms.txt を毎週同じリストで取得し、集計しています。会社名やドメイン名は出さず、件数と割合だけを公開します。集計データ（CSV）は CC BY 4.0 で自由にお使いいただけます。
- 計測日時：2026年11月9日 03:11〜05:42（日本時間）
- 対象：Tranco リスト W3ZV9（2026年10月25日版）の上位から順に選んだ .jp の登録ドメイン 1,000 件。除外したサイトはありません（0 件）。当社のサイト（migurei.ai、kiddihub.com）は .jp ドメインではないため、そもそも対象に入りません
- 判定したボット：当社のボット登録簿 bots-2026-10-30 に載っている 40 ボット
- 次回：同じ 1,000 件を 2026年11月16日に再計測する予定です
要点
- robots.txt で GPTBot にトップページ（/）のクロールを許可していないサイトは、判定できた 713 サイト中 77 サイト（10.8%）でした。Googlebot を許可していないサイトは 6 サイト（0.8%）です。
- robots.txt で学習用の AI ボットを 1 つ以上許可していないサイトは 113 サイト（15.8%）。そのうち Googlebot は許可しているサイトは 108 サイト（15.1%）でした。
- 当社の署名付きリクエストに、robots.txt の段階で 403 を返したサイトは、自ドメインから応答した 786 サイト中 64 サイト（8.1%）でした。
- llms.txt を自ドメインに置いているサイトは 1,000 件中 30 サイト（3.0%）。/llms.txt に 200 で HTML ページなどを返すサイト（ソフト 404）は、確認できた 775 サイト中 63 サイト（8.1%）で、llms.txt を置いているサイトの 2 倍以上でした。
- robots.txt に Content-Signal を書いているサイトは 5 サイト未満でした。
ボット別：トップページ（/）のクロールを許可していないサイト
「判定できた 713 サイト」は、robots.txt の内容（またはファイルがないこと）からボットごとの可否が決まったサイトです。「robots.txt ファイルがある 517 サイト」は、そのうち中身のある robots.txt を返したサイトです。
| ボット | 運営元 | 用途 | 判定できた 713 サイト中 | robots.txt ファイルがある 517 サイト中 |
|---|---|---|---|---|
| GPTBot | OpenAI | 学習 | 77（10.8%） | 77（14.9%） |
| ClaudeBot | Anthropic | 学習 | 74（10.4%） | 74（14.3%） |
| CCBot | Common Crawl | 学習 | 67（9.4%） | 67（13.0%） |
| Google-Extended | 学習 | 64（9.0%） | 64（12.4%） | |
| PerplexityBot | Perplexity | 検索インデックス | 50（7.0%） | 50（9.7%） |
| OAI-SearchBot | OpenAI | 検索インデックス | 39（5.5%） | 39（7.5%） |
| Googlebot | 検索インデックス | 6（0.8%） | 6（1.2%） |
用途の区分は、各運営元の公式ページをもとに当社のボット登録簿で付けたものです。Google-Extended は巡回するクローラーではなく、Gemini などでの利用可否を伝えるための robots.txt 上の名前です。ほかの 33 ボット（Amazonbot、Applebot-Extended、Bytespider、meta-externalagent、ChatGPT-User、Claude-User など）の数字は CSV にあります。
robots.txt で Googlebot を許可していないサイトは 0.8% にとどまります。一方で、約 7 サイトに 1 サイト（15.1%）は、Googlebot を許可したまま、学習用の AI ボットを 1 つ以上許可していません。Googlebot と学習用ボットで robots.txt の扱いを分けるサイトが一定数あることが分かります。
robots.txt の段階で 403 を返したサイト
自ドメインから応答した 786 サイトのうち 64 サイト（8.1%）は、当社の署名付きリクエストに対して、robots.txt の中身ではなく 403（アクセス拒否）を返しました。Server ヘッダーを見ると、AkamaiGHost が 20 件、AmazonS3 が 14 件でした。AmazonS3 の 403 は、ファイルがないだけでも返ることがあるため、すべてがアクセス制限とは限りません。
この 64 サイトは、ボットごとの可否が判定できないため、上の表の分母（713）には入れていません。
GPTBot を拒否すると ChatGPT 検索に出なくなる？
2026年11月2日の記録（ラボ実験 #337 の結果と、第45週の robots.txt の再集計）
短く答えると： ChatGPT 検索について、今回の実験では「GPTBot を拒否したサイトのほうが名前を挙げられにくい」という差は見えませんでした。ただし、GPTBot を拒否しても問題ないと示したわけではありません。下の「この実験から言えないこと」と合わせてお読みください。
ラボ実験の結果（ChatGPT 検索のみ）
- 方法：Tranco の順位で上位の .jp ドメイン 1,000 件（Tranco 全体では 459〜57,386 位）のうち、GPTBot を robots.txt で拒否している（Googlebot は許可している）サイトと、拒否していないサイトを、業種ラベルが同じで順位が近いもの同士でペアにしました。ChatGPT（無料アカウント、日本語、一時チャット、日本の IP）に、サイト名を出さずに、その業種についての質問をして、各サイトにつき 2 回ずつ、回答にそのサイトが出るかを数えました。
- 数字はすべて 49 ペア・有効な 195 回（2026年10月28日〜2026年10月31日）のものです。そのうち、ペアの両側がそろった 193 回（拒否側 96 回、許可側 97 回）を比べています。
- 「差なし」と判断する基準は、ペアごとの差（拒否側 − 許可側）の平均が −0.05 より大きいことで、実験の前に固定しました。
| 見たもの | 拒否側 | 許可側 | ペアごとの差の平均 | 判定 |
|---|---|---|---|---|
| サイト名が回答に出た | 90 / 96 回 | 91 / 97 回 | 0.000 | 棄却（差は見えず） |
| サイトへのリンクがあった | 87 / 96 回 | 91 / 97 回 | −0.031 | 棄却（差は見えず） |
リンクの −0.031 は、拒否側 2 ペアで、その企業の現在の主なサイトが対象リストのドメインとは別の登録ドメインにあったためで（事前に決めた規則では別ドメインを数えません）、差はこの 2 ペアから来ています。
拒否のしかた別に見ても（記述のみで、検定はしていません）、サイト名が出た回数は次のとおりでした。
| 拒否のしかた | ペア数 | サイト名が出た（拒否側） | サイト名が出た（許可側） |
|---|---|---|---|
| GPTBot のみ拒否（OAI-SearchBot は許可） | 27 | 52 / 54 回 | 52 / 54 回 |
| GPTBot と OAI-SearchBot の両方を拒否 | 22 | 38 / 42 回 | 39 / 43 回 |
この実験から言えないこと
- 「棄却」は、この回では差が見えなかったという意味です。 GPTBot を拒否しても影響がない、と証明したものではありません。
- 事前登録の外の観察（仮説の検定ではなく、ヒントです）。 GPTBot と OAI-SearchBot の両方を拒否しているサイトでは、そのサイトが回答の出典の引用チップとして示されたのは 7 / 42 回、対になる許可側のサイトでは 22 / 43 回でした。サイト名が出た回数はほぼ同じで（38 / 42 と 39 / 43）、リンクも付いていました。データを見たあとで気づいたことなので、事前に登録した新しい実験で確かめるまで、結論としては使いません。
- 天井効果。 名前が挙がったのは 90/96 回と 91/97 回で、ほぼ上限です。49 ペアのうち 36 ペアは、両側とも 2 回とも名前が挙がりました。質問をそのサイトの業種に合わせて書いたため、答えがほぼそのサイトを指しています。小規模なサイトや、一般的な質問、答えがそのサイトとは限らない質問では、結果は違うかもしれません。
- サイトが自分で選んだ設定です。 拒否するかどうかは各サイトの判断で、無作為に割り当てたものではありません。拒否の効果を測ったものではなく、業種ラベルが同じで順位が近いサイトを比べただけです。ペアを読み直した人が、業種がはっきり違うと感じたペアが 20 組以上ありました。ブランドの強さは揃えていません。
- 質問の言い回し。 100 問のうち約 70 問に「日本の」または「日本語で」が入っています。日本にいる人はあまりこう言わないので、実際の聞き方とは違います。
- 採点。 採点はモデルが行いました。日本語読みのモデルが 195 回のうち 64 回を読み直しましたが、人による読み直しはまだありません。Run を動かしたコードの code_sha は分かっていません（#374）。
- 実験の条件。 ChatGPT の無料アカウント 1 つ、1 台のマシン、日本の出口 1 か所、ChatGPT 検索のみです。ほかの AI の検索は測っていません。robots.txt は各サイトの申告で、OpenAI のボットの実際の動作を示すものではありません。
- 採点していない回があります。 上の数字は 2026年10月31日に採点した 49 ペアのものです。回答が空で無効になった 5 回の代わりの再実行 5 回（2026年11月2日 11:41〜12:20（UTC））は含まれていません。
robots.txt の側：GPTBot と OAI-SearchBot の組み合わせ
2026年11月2日に計測した第45週の保存済みデータを数え直しました。新しいリクエストは送っていません。robots.txt から判定できた 719 サイトを（ルールのないサイトはすべて許可として数えています）、GPTBot と OAI-SearchBot の組み合わせで分けると次のとおりです。
| 判定できた 719 サイト | OAI-SearchBot を許可 | OAI-SearchBot を拒否 |
|---|---|---|
| GPTBot を許可 | 643（89.4%） | <5 |
| GPTBot を拒否 | 38（5.3%） | 38（5.3%） |
OAI-SearchBot を拒否している 38 サイトは、すべて GPTBot も拒否していました。OpenAI の学習用ボット（GPTBot）だけを拒否し、検索用のボット（OAI-SearchBot）は許可している組み合わせは 38 / 719（5.3%）です。
| 第45週（2026年11月2日計測） | 第44週（2026年10月26日計測） | |
|---|---|---|
| 両方を許可 | 643 / 719（89.4%） | 645 / 719（89.7%） |
| GPTBot のみ拒否（OAI-SearchBot は許可） | 38 / 719（5.3%） | 35 / 719（4.9%） |
| OAI-SearchBot のみ拒否（GPTBot は許可） | <5 / 719 | <5 / 719 |
| 両方を拒否 | 38 / 719（5.3%） | 39 / 719（5.4%） |
| robots.txt が 403（自ドメインから応答したサイト中） | 63 / 792（8.0%） | 61 / 788（7.7%） |
- 403 を返した 63 サイトは、当社の署名付きリクエストへの応答です。GPTBot や OAI-SearchBot への応答ではありません。robots.txt の中身が読めないため、上の 719 サイトには入っておらず、OpenAI のボットを許可しているか拒否しているかは分かりません。Server ヘッダーの内訳は、上の「robots.txt の段階で 403 を返したサイト」にあります。
- 数えたのは保存済みの robots.txt の文字列だけで、Disallow されているパスへのリクエストは送っていません。
- 小さい数は「<5」と表示しています（5 サイト未満のセルは数を公開しません）。
サイト運営者へ： ChatGPT 検索に載ることを重視するなら、GPTBot だけでなく OAI-SearchBot の設定も確認してください。上のラボ実験でも、両方を拒否したサイトは名前こそ 38 / 42 回で挙げられましたが、出典の引用チップとして示されたのは 7 / 42 回で、許可側の 22 / 43 回より少なくなっていました（事前登録の外で、ヒントにすぎません）。OpenAI は、OAI-SearchBot を拒否したサイトは ChatGPT の検索回答には表示されず、ナビゲーション用のリンクとしては表示されることがある、としています（https://developers.openai.com/api/docs/bots）。今回の実験は、この点を直接は測っていません。
403 は学習用クローラの入口でも起きている：note.com と Common Crawl
上の 403 は当社のスキャナーに返ったものです。同じ種類の 403 を、学習データの元になる公開コピー Common Crawl（非営利団体が公開しているウェブのコピー）の側から見た例を 1 つ載せます。note.com は .jp ドメインではなく、上の 1,000 件には入っていません。
- Common Crawl の CC-MAIN-2026-43（2026 年 10 月 5 日〜18 日のクロール）の公開インデックスには、note.com のエントリが 36 件あります（2026 年 11 月 2 日 に読み取り）。36 件すべてが
https://note.com/robots.txtで、ステータスは 403（アクセス拒否）、取得は 10 月 5 日〜17 日です。記事、プロフィール、マガジンなど内容のページのエントリは 0 件で、失敗したエントリもありません。 - 当社は 2026 年 11 月 3 日 に、日本の IP から当社のスキャナーの名前で note.com の robots.txt を 1 回取得し、200 が返りました。書かれた規則では、CCBot（Common Crawl のクローラ）と、当社のボット登録簿にある学習用ボットの残り 6 種（GPTBot、ClaudeBot、Google-Extended など）が、確認した 9 パス（当社の記事とプロフィール）をすべて読めます。
- つまり、robots.txt の規則は CCBot を許可していますが、Common Crawl は同じファイルの取得に 36 回とも 403 を受け、内容のページを 1 つも取っていません。拒否は規則を読む前の、サーバー側で起きています。RFC 9309 は、robots.txt が 4xx のとき、クローラは「どのリソースにもアクセスしてよい（MAY）」と定めています。
- 比較：この調査の最新週（2026年11月9日）では、1,000 ドメイン中 64 サイト（6.4%）が robots.txt に 403 を返しました。
この数字から言えないこと：CC-MAIN-2026-43 という 1 回のクロールだけです。それ以前のクロールは見ていません。Common Crawl のインデックスにあることは、どのモデルの学習データにあることの証明でもなく、ないことも、各社のクローラ経由で学習に届かないことを意味しません。なぜ CCBot が拒否されたか（UA か IP か）は分かりません。GPTBot や ClaudeBot に note.com がどう応答するかは測っていません。当社のスキャナーが日本の IP から受けた応答と、Common Crawl のインデックスの記録だけを見ています。
llms.txt と Content-Signal
- llms.txt を自ドメインの /llms.txt に置いているサイトは、1,000 件中 30 サイト（3.0%）でした。llms.txt を確認できた 775 サイトで見ると 3.9% です。
- /llms.txt に対して、llms.txt ではなく HTML ページなどを 200 で返すサイトが、確認できた 775 サイト中 63 サイト（8.1%）ありました。いわゆるソフト 404 で、ファイルがあるように見えるため、確認の方法によっては「llms.txt あり」と数えられてしまうことがあります。
- Content-Signal（robots.txt に、検索・AI の入力・AI の学習での利用可否を書く書式）を使っているサイトは 5 サイト未満でした。少数のため、正確な数は公開していません。
対象と調べ方
対象の絞り込み
| 段階 | サイト数 |
|---|---|
| 対象（Tranco 上位の .jp 登録ドメイン） | 1,000 |
| ドメイン名が解決できた（ドメイン本体か www 付きのどちらか） | 911 |
| robots.txt のリクエストに何らかの HTTP ステータスで応答した | 810 |
| そのうち自ドメインから応答した（別ドメインへのリダイレクト 24 件を除く） | 786 |
| robots.txt からボットごとの可否を判定できた | 713 |
| そのうち中身のある robots.txt ファイルを返した | 517 |
応答しなかった内訳：ドメイン名が解決できない 89、タイムアウト 40、そのほかの通信エラー 51、リダイレクトが多すぎる 10。判定できなかった内訳：403 が 64、5xx が 9。
取得の方法
- 各サイトに robots.txt の GET リクエストを 1 回送りました。https で、リダイレクトは 3 回まで追います。通信エラーのときだけ、www 付きのホストで 1 回再試行しました。
- ユーザーエージェントは
migurei-ParallelWeb/0.1 (+https://migurei.ai/ja/scanner; research@migurei.ai)です。すべてのリクエスト（4,282 件）に Web Bot Auth の署名を付けました。公開鍵は https://pw.migurei.ai/.well-known/http-message-signatures-directory にあります。 - 送信元は日本の IP アドレスです。
- llms.txt は、robots.txt が当社のユーザーエージェントを許可しているサイトにだけ、/llms.txt を 1 回取得しました（許可していなかったのは 713 サイト中 7 サイト）。
- /.well-known/api-catalog（RFC 9727）も、robots.txt が当社のユーザーエージェントにそのパスを許可しているサイトにだけ、1 回取得しました。リダイレクトは追わず、再試行もしていません。
- 読み取りだけです。フォームの送信、ログイン、購入などは一切していません。
判定の方法
- RFC 9309（Robots Exclusion Protocol）に従い、ボットごとに「パス / を取得してよいか」を判定しました。
- robots.txt の User-agent 行にバージョン表記（例：
GPTBot/1.1）がある場合は、Google が公開している robots.txt パーサーと同じく、バージョンを除いた名前で照合しました。 - robots.txt が 404 などで存在しない場合は、RFC 9309 のとおり「すべて許可」としました。200 で HTML ページや指示のないファイルが返った場合は、そこに書かれている規則（つまり規則なし）として読みました。
- robots.txt が別の登録ドメインにリダイレクトされたサイト（24 件）は、そのサイト自身の規則とは言えないため、分母から除きました。
毎週の推移
同じ 1,000 件のリストを固定して、毎週計測します。リストを入れ替えないため、週ごとの差は、サイト側の設定の変化（または到達できたかどうかの変化）を表します。最新の週が一番上です。
| 週 | 計測日 | GPTBot を許可していない | 学習用ボットを 1 つ以上許可していない | robots.txt で 403 | llms.txt あり |
|---|---|---|---|---|---|
| 2026-W46 | 2026年11月9日 | 77 / 713（10.8%） | 113 / 713（15.8%） | 64 / 786（8.1%） | 30 / 1,000（3.0%） |
| 2026-W45 | 2026年11月2日 | 76 / 719（10.6%） | 113 / 719（15.7%） | 63 / 792（8.0%） | 30 / 1,000（3.0%） |
| 2026-W44 | 2026年10月26日 | 74 / 719（10.3%） | 111 / 719（15.4%） | 61 / 788（7.7%） | 29 / 1,000（2.9%） |
この数字から言えないこと
- robots.txt は「お願い」であって、アクセスを止める仕組みではありません。どのボットが実際にサイトを訪れているか、許可されていないボットが従っているかは、この調査では分かりません。
- 403 と 5xx のサイトは割合に入っていません。403 を返した 64 サイトがすべて GPTBot を許可していれば 9.9%、すべて許可していなければ 18.1% になります（5xx の 9 サイトはこの計算にも含めていません）。本当の割合は、この幅のどこかにある可能性があります。
- 「日本のウェブ全体」の数字ではありません。ある日の Tranco リストから選んだ .jp ドメイン 1,000 件です。.com など .jp 以外のドメインで運営されている日本のサイトは入っていません。
- 当社のユーザーエージェントでしか取得していません。GPTBot などの名前で来たリクエストに、各サイトがどう応答するかは分かりません。
- 判定したのはトップページ（/）だけです。特定のディレクトリだけを許可していないサイトは、この数には入りません。
- ドメイン名が解決できなかった 89 件には、一時的な失敗が含まれている可能性があります。
- 許可しないことの良し悪しは評価していません。どのボットに何を許すかは、サイトごとの判断です。
よくある質問
日本のサイトで robots.txt が GPTBot を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 77 サイト（10.8%）が GPTBot にトップページのクロールを許可していませんでした（robots.txt ファイルがある 517 サイトに限ると 14.9%）。
日本のサイトで robots.txt が ClaudeBot を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 74 サイト（10.4%）が ClaudeBot にトップページのクロールを許可していませんでした。
日本のサイトで robots.txt が CCBot を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 67 サイト（9.4%）が CCBot にトップページのクロールを許可していませんでした。
日本のサイトで robots.txt が Google-Extended を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 64 サイト（9.0%）が Google-Extended にトップページのクロールを許可していませんでした。
日本のサイトで robots.txt が PerplexityBot を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 50 サイト（7.0%）が PerplexityBot にトップページのクロールを許可していませんでした。
日本のサイトで robots.txt が OAI-SearchBot（ChatGPT 検索） を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 39 サイト（5.5%）が OAI-SearchBot にトップページのクロールを許可していませんでした。
日本のサイトで robots.txt が Googlebot を許可していない割合は？
Parallel World が 2026年11月9日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 713 サイトのうち 6 サイト（0.8%）が Googlebot にトップページのクロールを許可していませんでした。
robots.txt で学習用の AI ボットを許可していない日本のサイトはどのくらい？
Parallel World の 2026年11月9日の調査（.jp 上位 1,000 ドメイン）では、判定できた 713 サイトのうち 113 サイト（15.8%）が、robots.txt で学習用の AI ボットを 1 つ以上拒否していました。
Googlebot は許可したまま、学習用の AI ボットを robots.txt で許可していないサイトはどのくらい？
Parallel World の 2026年11月9日の調査（.jp 上位 1,000 ドメイン）では、判定できた 713 サイトのうち 108 サイト（15.1%）が、Googlebot は許可したまま学習用の AI ボットを 1 つ以上拒否していました。
当社の署名付きリクエストに robots.txt で 403 を返す日本のサイトの割合は？
Parallel World の 2026年11月9日の調査（.jp 上位 1,000 ドメイン）では、自ドメインから応答した 786 サイトのうち 64 サイト（8.1%）が、日本の IP から送った署名付きのボットのリクエストに、robots.txt の段階で 403 を返しました。
llms.txt を置いている日本のサイトの割合は？
Parallel World の 2026年11月9日の調査では、Tranco 上位の .jp ドメイン 1,000 件のうち、自ドメインに llms.txt を置いていたのは 30 サイト（3.0%）でした。
/llms.txt で HTML ページを返す日本のサイトはどのくらい？
Parallel World の 2026年11月9日の調査（.jp 上位 1,000 ドメイン）では、確認できた 775 サイトのうち 63 サイト（8.1%）が /llms.txt に llms.txt ではない HTML ページなどを 200 で返しており（ソフト 404）、実際に llms.txt を置くサイト（30 サイト）の 2 倍以上でした。
Content-Signal を使っている日本のサイトはどのくらい？
Parallel World の 2026年11月9日の調査（.jp 上位 1,000 ドメイン）では、robots.txt に Content-Signal を書いているサイトは 5 サイト未満でした。
robots.txt に管理画面のパスを書いている日本のサイトはどれくらい？
Parallel World の2026年11月9日の調査（.jp 上位 1,000 ドメイン）では、中身のある robots.txt ファイルを返した 517 サイトのうち 82 サイト（15.9%）で、Disallow 行に admin、manage、cms、console、dashboard のいずれかの語が含まれていました。ログイン系の語（login、signin など）は公開ページにも使われるため別に数えて 56 サイト（10.8%）、ログイン系を除くすべての語のグループでは 90 サイト（17.4%）でした。数えたのは保存済みの robots.txt の文字列だけで新たなリクエストは送っておらず（集計 CSV: https://pw.migurei.ai/data/japanese-sites-and-ai-bots/2026-W46.csv）、パスの先に管理画面が実在するか、保護されているかは判断していません。robots.txt は誰でも読める公開ファイルで、セキュリティ対策の代わりにはなりません（RFC 9309 §3）。
データとライセンス
- 集計データ（CSV）：2026年11月9日計測（2026-W46）、全週の推移（series.csv）
- 集計値だけを公開しています。個別のサイトやドメインのデータは公開しません。5 件未満のセルは「<5」と表示しています。CSV の「denominator_definition」に「当社のサイトと除外したサイトを除く」とあるのは選定の規則です。この回に除外したサイトは 0 件でした。
- ライセンス：CC BY 4.0
- 引用・転載の際は、「出典：Parallel World (pw.migurei.ai)」と記載してください。例：出典：Parallel World (pw.migurei.ai)「日本のサイトは AI ボットをどう扱っているか」2026年11月9日計測
出典
- Tranco リスト W3ZV9（2026年10月25日）：https://tranco-list.eu/list/W3ZV9 ／ Victor Le Pochat ほか「Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation」（NDSS 2019）
- ボット一覧：Parallel World の AI ボット登録簿（bots-2026-10-30、CC BY 4.0）。各ボットに運営元の公式ページへのリンクがあります：https://pw.migurei.ai/ja/research/ai-bot-registry
- RFC 9309 Robots Exclusion Protocol：https://www.rfc-editor.org/rfc/rfc9309.html
- Google の robots.txt パーサー：https://github.com/google/robotstxt
- Web Bot Auth（IETF ワーキンググループ）：https://datatracker.ietf.org/wg/webbotauth/about/
- llms.txt の提案：https://llmstxt.org/
- Content Signals：https://contentsignals.org/
この調査について
Parallel World（migurei）は、AI がサイトをどう見つけ、読み、引用するかを測るサービスです。この調査は、当社のスキャナーを使って当社が計測・集計しました。独立した第三者の確認は受けていません。
自社サイトの robots.txt や llms.txt の状態は、トップページの無料スキャンで確認できます（登録不要）。調査に使ったスキャナーについてはこちらをご覧ください。