--- title: "日本のサイトは AI ボットをどう扱っているか｜.jp 上位 1,000 サイトの robots.txt 定点調査 | Parallel World - migurei" description: "Tranco 上位の .jp ドメイン 1,000 件の robots.txt を毎週調査。2026年10月26日計測では、GPTBot のクロールを許可していないサイトは 10.3%、Googlebot は 1.0%、llms.txt を置くサイトは 2.9%。社名は出さず、集計 CSV を CC BY 4.0 で公開。" lang: "ja" url: "https://pw.migurei.ai/ja/research/japanese-sites-and-ai-bots" --- # 日本のサイトは AI ボットをどう扱っているか（robots.txt・llms.txt 定点調査） **最新：2026年10月26日計測（第1回）／毎週更新** 日本でよく見られている .jp サイトは、ChatGPT や Claude、Gemini などの AI ボットに対して、robots.txt で何を伝えているのでしょうか。Parallel World は、Tranco ランキング上位の .jp ドメイン 1,000 件について、robots.txt と llms.txt を毎週同じリストで取得し、集計しています。会社名やドメイン名は出さず、件数と割合だけを公開します。集計データ（CSV）は CC BY 4.0 で自由にお使いいただけます。 - 計測日時：2026年10月26日 17:38〜19:00（日本時間） - 対象：Tranco リスト W3ZV9（2026年10月25日版）の上位から順に選んだ .jp の登録ドメイン 1,000 件。除外したサイトはありません（0 件）。当社のサイト（migurei.ai、kiddihub.com）は .jp ドメインではないため、そもそも対象に入りません - 判定したボット：当社のボット登録簿 bots-2026-10-25 に載っている 39 ボット - 次回：同じ 1,000 件を 2026年11月2日に再計測する予定です [English](https://pw.migurei.ai/en/research/japanese-sites-and-ai-bots) ## 要点 - robots.txt で **GPTBot** にトップページ（/）のクロールを許可していないサイトは、判定できた 719 サイト中 **74 サイト（10.3%）**でした。**Googlebot** を許可していないサイトは **7 サイト（1.0%）**です。 - robots.txt で学習用の AI ボットを 1 つ以上許可していないサイトは **111 サイト（15.4%）**。そのうち Googlebot は許可しているサイトは **105 サイト（14.6%）**でした。 - 当社の署名付きリクエストに、robots.txt の段階で **403** を返したサイトは、自ドメインから応答した 788 サイト中 **61 サイト（7.7%）**でした。 - **llms.txt** を自ドメインに置いているサイトは 1,000 件中 **29 サイト（2.9%）**。/llms.txt に 200 で HTML ページなどを返すサイト（ソフト 404）は、確認できた 777 サイト中 **69 サイト（8.9%）**で、llms.txt を置いているサイトの 2 倍以上でした。 - robots.txt に **Content-Signal** を書いているサイトは **5 サイト未満**でした。 ## ボット別：トップページ（/）のクロールを許可していないサイト 「判定できた 719 サイト」は、robots.txt の内容（またはファイルがないこと）からボットごとの可否が決まったサイトです。「robots.txt ファイルがある 515 サイト」は、そのうち中身のある robots.txt を返したサイトです。 | ボット | 運営元 | 用途 | 判定できた 719 サイト中 | robots.txt ファイルがある 515 サイト中 | | --- | --- | --- | --- | --- | | GPTBot | OpenAI | 学習 | 74（10.3%） | 74（14.4%） | | ClaudeBot | Anthropic | 学習 | 73（10.2%） | 73（14.2%） | | CCBot | Common Crawl | 学習 | 65（9.0%） | 65（12.6%） | | Google-Extended | Google | 学習 | 63（8.8%） | 63（12.2%） | | PerplexityBot | Perplexity | 検索インデックス | 49（6.8%） | 49（9.5%） | | OAI-SearchBot | OpenAI | 検索インデックス | 39（5.4%） | 39（7.6%） | | Googlebot | Google | 検索インデックス | 7（1.0%） | 7（1.4%） | 用途の区分は、各運営元の公式ページをもとに当社のボット登録簿で付けたものです。Google-Extended は巡回するクローラーではなく、Gemini などでの利用可否を伝えるための robots.txt 上の名前です。ほかの 32 ボット（Amazonbot、Applebot-Extended、Bytespider、meta-externalagent、ChatGPT-User、Claude-User など）の数字は CSV にあります。 robots.txt で Googlebot を許可していないサイトは 1.0% にとどまります。一方で、約 7 サイトに 1 サイト（14.6%）は、Googlebot を許可したまま、学習用の AI ボットを 1 つ以上許可していません。Googlebot と学習用ボットで robots.txt の扱いを分けるサイトが一定数あることが分かります。 ## robots.txt の段階で 403 を返したサイト 自ドメインから応答した 788 サイトのうち 61 サイト（7.7%）は、当社の署名付きリクエストに対して、robots.txt の中身ではなく 403（アクセス拒否）を返しました。Server ヘッダーを見ると、AkamaiGHost が 19 件、AmazonS3 が 13 件でした。AmazonS3 の 403 は、ファイルがないだけでも返ることがあるため、すべてがアクセス制限とは限りません。 この 61 サイトは、ボットごとの可否が判定できないため、上の表の分母（719）には入れていません。 ## llms.txt と Content-Signal - llms.txt を自ドメインの /llms.txt に置いているサイトは、1,000 件中 29 サイト（2.9%）でした。llms.txt を確認できた 777 サイトで見ると 3.7% です。 - /llms.txt に対して、llms.txt ではなく HTML ページなどを 200 で返すサイトが、確認できた 777 サイト中 69 サイト（8.9%）ありました。いわゆるソフト 404 で、ファイルがあるように見えるため、確認の方法によっては「llms.txt あり」と数えられてしまうことがあります。 - Content-Signal（robots.txt に、検索・AI の入力・AI の学習での利用可否を書く書式）を使っているサイトは 5 サイト未満でした。少数のため、正確な数は公開していません。 ## 対象と調べ方 **対象の絞り込み** | 段階 | サイト数 | | --- | --- | | 対象（Tranco 上位の .jp 登録ドメイン） | 1,000 | | ドメイン名が解決できた（ドメイン本体か www 付きのどちらか） | 909 | | robots.txt のリクエストに何らかの HTTP ステータスで応答した | 813 | | そのうち自ドメインから応答した（別ドメインへのリダイレクト 25 件を除く） | 788 | | robots.txt からボットごとの可否を判定できた | 719 | | そのうち中身のある robots.txt ファイルを返した | 515 | 応答しなかった内訳：ドメイン名が解決できない 91、タイムアウト 41、そのほかの通信エラー 48、リダイレクトが多すぎる 7。判定できなかった内訳：403 が 61、5xx が 8。 **取得の方法** - 各サイトに robots.txt の GET リクエストを 1 回送りました。https で、リダイレクトは 3 回まで追います。通信エラーのときだけ、www 付きのホストで 1 回再試行しました。 - ユーザーエージェントは `migurei-ParallelWeb/0.1 (+https://migurei.ai/ja/scanner; research@migurei.ai)` です。すべてのリクエスト（2,396 件）に Web Bot Auth の署名を付けました。公開鍵は [https://pw.migurei.ai/.well-known/http-message-signatures-directory](https://pw.migurei.ai/.well-known/http-message-signatures-directory) にあります。 - 送信元は日本の IP アドレスです。 - llms.txt は、robots.txt が当社のユーザーエージェントを許可しているサイトにだけ、/llms.txt を 1 回取得しました（許可していなかったのは 719 サイト中 7 サイト）。 - 読み取りだけです。フォームの送信、ログイン、購入などは一切していません。 **判定の方法** - RFC 9309（Robots Exclusion Protocol）に従い、ボットごとに「パス / を取得してよいか」を判定しました。 - robots.txt の User-agent 行にバージョン表記（例：`GPTBot/1.1`）がある場合は、Google が公開している robots.txt パーサーと同じく、バージョンを除いた名前で照合しました。 - robots.txt が 404 などで存在しない場合は、RFC 9309 のとおり「すべて許可」としました。200 で HTML ページや指示のないファイルが返った場合は、そこに書かれている規則（つまり規則なし）として読みました。 - robots.txt が別の登録ドメインにリダイレクトされたサイト（25 件）は、そのサイト自身の規則とは言えないため、分母から除きました。 ## 毎週の推移 同じ 1,000 件のリストを固定して、毎週計測します。リストを入れ替えないため、週ごとの差は、サイト側の設定の変化（または到達できたかどうかの変化）を表します。最新の週が一番上です。 | 週 | 計測日 | GPTBot を許可していない | 学習用ボットを 1 つ以上許可していない | robots.txt で 403 | llms.txt あり | | --- | --- | --- | --- | --- | --- | | 2026-W44 | 2026年10月26日 | 74 / 719（10.3%） | 111 / 719（15.4%） | 61 / 788（7.7%） | 29 / 1,000（2.9%） | 今は第 1 回だけです。2 回目以降は、この表に毎週 1 行ずつ加わります。 ## この数字から言えないこと - **robots.txt は「お願い」であって、アクセスを止める仕組みではありません。**どのボットが実際にサイトを訪れているか、許可されていないボットが従っているかは、この調査では分かりません。 - **403 と 5xx のサイトは割合に入っていません。**403 を返した 61 サイトがすべて GPTBot を許可していれば 9.5%、すべて許可していなければ 17.3% になります（5xx の 8 サイトはこの計算にも含めていません）。本当の割合は、この幅のどこかにある可能性があります。 - **「日本のウェブ全体」の数字ではありません。**ある日の Tranco リストから選んだ .jp ドメイン 1,000 件です。.com など .jp 以外のドメインで運営されている日本のサイトは入っていません。 - **当社のユーザーエージェントでしか取得していません。**GPTBot などの名前で来たリクエストに、各サイトがどう応答するかは分かりません。 - **判定したのはトップページ（/）だけです。**特定のディレクトリだけを許可していないサイトは、この数には入りません。 - **ドメイン名が解決できなかった 91 件には、一時的な失敗が含まれている可能性があります。**2026年10月26日に再確認したところ、91 件中 5 件は解決できました。 - **許可しないことの良し悪しは評価していません。**どのボットに何を許すかは、サイトごとの判断です。 ## よくある質問 **日本のサイトで robots.txt が GPTBot を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 74 サイト（10.3%）が GPTBot にトップページのクロールを許可していませんでした（robots.txt ファイルがある 515 サイトに限ると 14.4%）。 **日本のサイトで robots.txt が ClaudeBot を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 73 サイト（10.2%）が ClaudeBot にトップページのクロールを許可していませんでした。 **日本のサイトで robots.txt が CCBot を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 65 サイト（9.0%）が CCBot にトップページのクロールを許可していませんでした。 **日本のサイトで robots.txt が Google-Extended を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 63 サイト（8.8%）が Google-Extended にトップページのクロールを許可していませんでした。 **日本のサイトで robots.txt が PerplexityBot を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 49 サイト（6.8%）が PerplexityBot にトップページのクロールを許可していませんでした。 **日本のサイトで robots.txt が OAI-SearchBot（ChatGPT 検索） を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 39 サイト（5.4%）が OAI-SearchBot にトップページのクロールを許可していませんでした。 **日本のサイトで robots.txt が Googlebot を許可していない割合は？** Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 7 サイト（1.0%）が Googlebot にトップページのクロールを許可していませんでした。 **robots.txt で学習用の AI ボットを許可していない日本のサイトはどのくらい？** Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、判定できた 719 サイトのうち 111 サイト（15.4%）が、robots.txt で学習用の AI ボットを 1 つ以上拒否していました。 **Googlebot は許可したまま、学習用の AI ボットを robots.txt で許可していないサイトはどのくらい？** Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、判定できた 719 サイトのうち 105 サイト（14.6%）が、Googlebot は許可したまま学習用の AI ボットを 1 つ以上拒否していました。 **当社の署名付きリクエストに robots.txt で 403 を返す日本のサイトの割合は？** Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、自ドメインから応答した 788 サイトのうち 61 サイト（7.7%）が、日本の IP から送った署名付きのボットのリクエストに、robots.txt の段階で 403 を返しました。 **llms.txt を置いている日本のサイトの割合は？** Parallel World の 2026年10月26日の調査では、Tranco 上位の .jp ドメイン 1,000 件のうち、自ドメインに llms.txt を置いていたのは 29 サイト（2.9%）でした。 **/llms.txt で HTML ページを返す日本のサイトはどのくらい？** Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、確認できた 777 サイトのうち 69 サイト（8.9%）が /llms.txt に llms.txt ではない HTML ページなどを 200 で返しており（ソフト 404）、実際に llms.txt を置くサイト（29 サイト）の 2 倍以上でした。 **Content-Signal を使っている日本のサイトはどのくらい？** Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、robots.txt に Content-Signal を書いているサイトは 5 サイト未満でした。 ## データとライセンス - 集計データ（CSV）：[2026年10月26日計測（2026-W44）](https://pw.migurei.ai/data/japanese-sites-and-ai-bots/2026-W44.csv)、[全週の推移（series.csv）](https://pw.migurei.ai/data/japanese-sites-and-ai-bots/series.csv) - GitHub：[https://github.com/theta-claude-dot/jp-ai-bot-census](https://github.com/theta-claude-dot/jp-ai-bot-census) - 集計値だけを公開しています。個別のサイトやドメインのデータは公開しません。5 件未満のセルは「<5」と表示しています。CSV の「denominator_definition」に「当社のサイトと除外したサイトを除く」とあるのは選定の規則です。この回に除外したサイトは 0 件でした。 - ライセンス：[CC BY 4.0](https://creativecommons.org/licenses/by/4.0/deed.ja) - 引用・転載の際は、「出典：Parallel World (pw.migurei.ai)」と記載してください。例：出典：Parallel World (pw.migurei.ai)「日本のサイトは AI ボットをどう扱っているか」2026年10月26日計測 ## 出典 - Tranco リスト W3ZV9（2026年10月25日）：[https://tranco-list.eu/list/W3ZV9](https://tranco-list.eu/list/W3ZV9) ／ Victor Le Pochat ほか「Tranco: A Research-Oriented Top Sites Ranking Hardened Against Manipulation」（NDSS 2019） - ボット一覧：Parallel World の AI ボット登録簿（bots-2026-10-25、CC BY 4.0）。各ボットに運営元の公式ページへのリンクがあります：[https://github.com/theta-claude-dot/ai-bot-registry](https://github.com/theta-claude-dot/ai-bot-registry) - RFC 9309 Robots Exclusion Protocol：[https://www.rfc-editor.org/rfc/rfc9309.html](https://www.rfc-editor.org/rfc/rfc9309.html) - Google の robots.txt パーサー：[https://github.com/google/robotstxt](https://github.com/google/robotstxt) - Web Bot Auth（IETF ワーキンググループ）：[https://datatracker.ietf.org/wg/webbotauth/about/](https://datatracker.ietf.org/wg/webbotauth/about/) - llms.txt の提案：[https://llmstxt.org/](https://llmstxt.org/) - Content Signals：[https://contentsignals.org/](https://contentsignals.org/) ## この調査について Parallel World（migurei）は、AI がサイトをどう見つけ、読み、引用するかを測るサービスです。この調査は、当社のスキャナーを使って当社が計測・集計しました。独立した第三者の確認は受けていません。 自社サイトの robots.txt や llms.txt の状態は、[トップページの無料スキャン](https://pw.migurei.ai/#scan)で確認できます（登録不要）。調査に使ったスキャナーについては[こちら](https://migurei.ai/ja/scanner)をご覧ください。 ```json { "@context": "https://schema.org", "@graph": [ { "@type": "Article", "headline": "日本のサイトは AI ボットをどう扱っているか｜.jp 上位 1,000 サイトの robots.txt 定点調査", "inLanguage": "ja", "datePublished": "2026-10-26", "dateModified": "2026-10-26", "author": { "@type": "Organization", "name": "migurei" }, "mainEntityOfPage": "https://pw.migurei.ai/ja/research/japanese-sites-and-ai-bots" }, { "@type": "Dataset", "name": "日本のサイトは AI ボットをどう扱っているか（robots.txt・llms.txt 定点調査）", "description": "Tranco 上位の .jp ドメイン 1,000 件の robots.txt を毎週調査。2026年10月26日計測では、GPTBot のクロールを許可していないサイトは 10.3%、Googlebot は 1.0%、llms.txt を置くサイトは 2.9%。社名は出さず、集計 CSV を CC BY 4.0 で公開。", "inLanguage": "ja", "url": "https://pw.migurei.ai/ja/research/japanese-sites-and-ai-bots", "license": "https://creativecommons.org/licenses/by/4.0/", "creator": { "@type": "Organization", "name": "Parallel World (pw.migurei.ai)" }, "temporalCoverage": "2026-10-26", "spatialCoverage": "Japan", "isBasedOn": "https://tranco-list.eu/list/W3ZV9", "distribution": [ { "@type": "DataDownload", "encodingFormat": "text/csv", "name": "series.csv", "contentUrl": "https://pw.migurei.ai/data/japanese-sites-and-ai-bots/series.csv" }, { "@type": "DataDownload", "encodingFormat": "text/csv", "name": "2026-W44.csv", "contentUrl": "https://pw.migurei.ai/data/japanese-sites-and-ai-bots/2026-W44.csv" } ] }, { "@type": "FAQPage", "mainEntity": [ { "@type": "Question", "name": "日本のサイトで robots.txt が GPTBot を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 74 サイト（10.3%）が GPTBot にトップページのクロールを許可していませんでした（robots.txt ファイルがある 515 サイトに限ると 14.4%）。" } }, { "@type": "Question", "name": "日本のサイトで robots.txt が ClaudeBot を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 73 サイト（10.2%）が ClaudeBot にトップページのクロールを許可していませんでした。" } }, { "@type": "Question", "name": "日本のサイトで robots.txt が CCBot を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 65 サイト（9.0%）が CCBot にトップページのクロールを許可していませんでした。" } }, { "@type": "Question", "name": "日本のサイトで robots.txt が Google-Extended を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 63 サイト（8.8%）が Google-Extended にトップページのクロールを許可していませんでした。" } }, { "@type": "Question", "name": "日本のサイトで robots.txt が PerplexityBot を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 49 サイト（6.8%）が PerplexityBot にトップページのクロールを許可していませんでした。" } }, { "@type": "Question", "name": "日本のサイトで robots.txt が OAI-SearchBot（ChatGPT 検索） を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 39 サイト（5.4%）が OAI-SearchBot にトップページのクロールを許可していませんでした。" } }, { "@type": "Question", "name": "日本のサイトで robots.txt が Googlebot を許可していない割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World が 2026年10月26日に Tranco 上位の .jp ドメイン 1,000 件を調べたところ、robots.txt から判定できた 719 サイトのうち 7 サイト（1.0%）が Googlebot にトップページのクロールを許可していませんでした。" } }, { "@type": "Question", "name": "robots.txt で学習用の AI ボットを許可していない日本のサイトはどのくらい？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、判定できた 719 サイトのうち 111 サイト（15.4%）が、robots.txt で学習用の AI ボットを 1 つ以上拒否していました。" } }, { "@type": "Question", "name": "Googlebot は許可したまま、学習用の AI ボットを robots.txt で許可していないサイトはどのくらい？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、判定できた 719 サイトのうち 105 サイト（14.6%）が、Googlebot は許可したまま学習用の AI ボットを 1 つ以上拒否していました。" } }, { "@type": "Question", "name": "当社の署名付きリクエストに robots.txt で 403 を返す日本のサイトの割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、自ドメインから応答した 788 サイトのうち 61 サイト（7.7%）が、日本の IP から送った署名付きのボットのリクエストに、robots.txt の段階で 403 を返しました。" } }, { "@type": "Question", "name": "llms.txt を置いている日本のサイトの割合は？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World の 2026年10月26日の調査では、Tranco 上位の .jp ドメイン 1,000 件のうち、自ドメインに llms.txt を置いていたのは 29 サイト（2.9%）でした。" } }, { "@type": "Question", "name": "/llms.txt で HTML ページを返す日本のサイトはどのくらい？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、確認できた 777 サイトのうち 69 サイト（8.9%）が /llms.txt に llms.txt ではない HTML ページなどを 200 で返しており（ソフト 404）、実際に llms.txt を置くサイト（29 サイト）の 2 倍以上でした。" } }, { "@type": "Question", "name": "Content-Signal を使っている日本のサイトはどのくらい？", "acceptedAnswer": { "@type": "Answer", "text": "Parallel World の 2026年10月26日の調査（.jp 上位 1,000 ドメイン）では、robots.txt に Content-Signal を書いているサイトは 5 サイト未満でした。" } } ] } ] } ```