日本のサイトの AI クローラー拒否率は 1%？ 10%？ 32%？ 調査によって違う理由（2026年10月）
調査ごとに、対象（稼働中のサイト全体／上位の .jp ドメイン／日本で利用の多いサイト／編集部が選んだ主要サイト）、分母（robots.txt を確認できた件数など）、指標（どのボットを、どこまで拒否）が違うため、数字が違います。日本の稼働サイトでは、AI クローラーを 1 つ以上拒否しているのは 1.0%（Piperic、2026-07-13、分母 363,583）。Tranco 上位の .jp ドメイン 1,000 件では、GPTBot を拒否しているのは 10.3%（Parallel World、2026-10-26 計測、分母 719）。日本で利用の多いサイトでは、robots.txt で GPTBot を Disallow しているのは 10.3%（Zyte、2026-06-22 公開・2025年10月収集、分母 1,111）。編集部が選んだ日本の主要サイトでは、GPTBot を全面ブロックしているのは 32.3%（AB通信、2026-10-16、分母 99）。世界の上位 1 万サイトでは、AI クローラーを 1 つ以上拒否しているのは 20.4%（Shifter、2026-10-06、分母 5,754、日本に限らない）。Parallel World と Zyte の 10.3% は、対象・分母・時期の違う別々の調査の値で、同じデータではありません。
2026年10月29日作成。各調査の数字は、それぞれの公開ページに書かれている値をそのまま転記しています（確認日：2026年10月28日 UTC）。
調査ごとの対象・分母・指標
各行の値は、その調査が公開ページで示している主な数字です。「分母」は割合を計算するときに割った件数です。行は公開日の順です。
| 調査名・公開元 | 公開日 | 対象（何のサイトを何件） | 分母 | 指標（どのボットを、どこまで拒否） | 値 | 出典 URL |
|---|---|---|---|---|---|---|
| State of Web Access 2026：Japan（Zyte） | 2026-06-22（データ：2025年10月収集） | SEMrush の日本のアクセス上位サイトを約 110 業種ごとに集めた 1,111 件（日本で利用が多いサイト。日本の企業のサイトとは限らない） | 1,111（robots.txt がないサイトも含む。robots.txt があるのは 817 件） | robots.txt に GPTBot への Disallow ルールがある（どの範囲を拒否しているかの記載なし） | 10.3%（「Blocks AI crawlers」12.3%） | zyte.com/sowa/2026/geo/country/as-jp |
| AIアクセスレポート：Japan（Piperic） | 2026-07-13（データ：同日のスナップショット） | 日本に割り当てた（ccTLD ベース）稼働中・コンテンツ検証済みのウェブサイト 363,583 件 | 363,583 | robots.txt が既知の AI クローラー 14 種のうち少なくとも 1 つを除外 | 1.0%（3,628 件） | piperic.com/ai-report/jp |
| 同上（報道サイトの内訳） | 2026-07-13（データ：同日のスナップショット） | 上記のうち「ニュース・メディア」に分類された 134 件 | 134 | 同上 | 23.13% | piperic.com/ai-report/jp |
| Who Blocks the AI Crawlers?（Shifter）※日本に限らない | 2026-10-06（データ：同日計測） | Tranco ランキングの上位 10,000 ドメイン（世界） | 5,754（読める robots.txt を返したサイト） | AI クローラー 16 種のうち少なくとも 1 つがトップページ（/）を取得できない | 20.4% | shifter.io/blog/who-blocks-the-ai-crawlers-top-10000-sites |
| 日本の主要サイトのAIクローラー対応とllms.txt導入率【2026年10月調査】（AB通信 編集部、markenote.jp） | 2026-10-16（データ：同日調査） | 19 業種から編集部が選んだ日本の主要サイト 120 件 | 99（robots.txt を確認できたサイト） | robots.txt の GPTBot のグループに「Disallow: /」がある（全面ブロック） | 32.3%（32 件） | markenote.jp/article/4276 |
| 日本のサイトは AI ボットをどう扱っているか（Parallel World） | 2026-10-26（データ：同日計測） | Tranco リスト W3ZV9 の上位から順に選んだ .jp 登録ドメイン 1,000 件 | 719（robots.txt でボット別の可否を判定できたサイト） | robots.txt が GPTBot に対してトップページ（/）を Disallow している | 10.3%（74 件） | pw.migurei.ai/ja/research/japanese-sites-and-ai-bots |
GPTBot だけで比べると
ボットをそろえるため、各調査が公開している GPTBot（OpenAI の学習用クローラー）の数字だけを並べました。それでも対象・分母・拒否の範囲は調査ごとに違います。Zyte と Parallel World はどちらも 10.3% ですが、別々の調査の値です。
| 調査（公開元、日付） | 対象 | 分母 | どこまで拒否 | GPTBot を拒否 |
|---|---|---|---|---|
| Zyte、2026-06-22 | 日本で利用の多いサイト 1,111 件 | 1,111 | Disallow ルールあり（範囲の記載なし） | 10.3% |
| Piperic、2026-07-13 | 日本の稼働サイト 363,583 件 | 363,583 | 除外（範囲の記載なし） | 0.8%（2,897 件） |
| Shifter、2026-10-06 | 世界の Tranco 上位 10,000 件 | 5,754 | トップページ（/）を取得できない | 15.1%（871 件） |
| AB通信、2026-10-16 | 日本の主要サイト 120 件 | 99 | 「Disallow: /」（全面ブロック） | 32.3%（32 件） |
| Parallel World、2026-10-26 | Tranco 上位 .jp 1,000 件 | 719 | トップページ（/）を許可しない | 10.3%（74 件） |
日本のサイトで llms.txt を置いている割合は？
Tranco 上位の .jp ドメイン 1,000 件では、/llms.txt を自社ドメインで置いていたのは 29 サイトで、llms.txt を確認できた 777 サイトの 3.7% でした（Parallel World、2026-10-26 計測）。他の公開調査では、対象によって 0.11%（全国の市区町村）から 6.4〜6.8%（企業サイト約 9,000 件）まで幅があります。
| 調査名・公開元 | 対象 | 分母 | llms.txt 設置率 | 日付 |
|---|---|---|---|---|
| 日本のサイトは AI ボットをどう扱っているか（Parallel World、2026-W44 週次定点調査）（公開データの CSV から転記） | Tranco リスト W3ZV9 の上位から順に選んだ .jp 登録ドメイン 1,000 件 | 777（/llms.txt を自社ドメインで取得できたサイト。1,000 件全体を分母にすると 29 件で 2.9%） | 3.7%（29 件） | 2026-10-26 |
| 東証プライム全1552社を調査したら、97%がAIクローラーに「何も書いていなかった」（Eatransform） | 東証プライム市場の内国株式 1,552 社（優先株等 7 銘柄を除く全数） | 1,552（応答が得られなかった 29 社は未設置として算入） | 2.4%（37 社） | 調査 2026-07-21、公開 2026-07-22 |
| 全国812大学を全数調査｜llms.txt設置は13校（Eatransform） | 全国の 4 年制大学 812 校 | 812 | 1.6%（13 校） | 公開 2026-07-24 |
| 全国1741自治体を全数調査｜llms.txt設置は2つだけ（Eatransform） | 全国の市区町村 1,741 | 1,741 | 0.11%（2 自治体） | 公開 2026-07-23 |
| 大学サイトの生成AI対応調査（ポップコーン「大学パワーランキング」）。ICT教育ニュース、ReseEd（リシード）の記事で確認（ReseEd） | 文部科学省のリンク集の国公私立大学 814 校のうち、応答を取得できた 800 校 | 800 | 1.5%（12 校） | 調査 2026-09-30、記事 2026-10-08（ICT教育ニュース）・2026-10-16（ReseEd） |
| 同上の記事が引く、ポップコーンの企業サイト実測（原典は未確認で、記事内の記載を転記） | 国内の企業サイト | 約 9,000 | 6.4〜6.8% | 2026-09 の実測 |
| 日本の主要サイトのAIクローラー対応とllms.txt導入率【2026年10月調査】（AB通信、markenote.jp） | 19 業種から編集部が選んだ日本の主要サイト 120 件 | 120（記事は「120サイト中6サイト」と記載。robots.txt を確認できたのは 99 件） | 5.0%（6 サイト） | 2026-10-16 |
| 【日経225構成銘柄の公式サイトを調査】llms.txtの設置は9社（5.0%）（株式会社Uravation、PR TIMES） | 日経平均株価の構成銘柄 225 社の公式サイト | 180（llms.txt を取得できた社） | 5.0%（9 社） | 調査 2026-10-23、公開 2026-10-31 |
分母が調査ごとに違う（取得できなかったサイトを分母に入れるか除くか、対象が企業・大学・自治体・上位ドメインのどれか）ため、この率は調査どうしを直接比べられません。各調査の値は、各公開ページ（2026年11月1日 UTC に取得）の記載を転記したもので、Parallel World が再計算したものではありません。Parallel World の行だけは、公開している週次データの CSV（2026-W44）の件数です。
数字が違う理由
1. 対象が違う
Zyte は SEMrush で日本のアクセスが多いサイトを約 110 業種ごとに集めた 1,111 件で、日本で利用が多ければ海外のサイトも含みます（2026-06-22 公開）。Piperic は日本に割り当てた（ccTLD ベース）稼働中のサイト 363,583 件です（2026-07-13）。Shifter は日本に限らない世界の Tranco 上位 10,000 件（2026-10-06）、AB通信は編集部が選んだ主要サイト 120 件で、全国紙・放送・地方紙・ポータル・EC などを含みます（2026-10-16）。Parallel World は Tranco リストの .jp 上位 1,000 件です（2026-10-26）。
いくつかの調査は、自分のデータの中の内訳も公開しています。Piperic によると、報道サイト 134 件では 23.13%（全体は 1.0%、2026-07-13）。Shifter によると、上位 1,000 件では 29.5%、5,001〜10,000 位では 18.8%（2026-10-06）。AB通信によると、10 種すべてを全面ブロックしていた 19 サイトは報道系に集中していました（2026-10-16）。これらはそれぞれの調査の中での比較で、調査どうしを比べたものではありません。
2. 指標が違う
「AI クローラーを 1 つ以上拒否」と「GPTBot を拒否」では数字が変わります。数えるボットの数も、Zyte は AI クローラー 11 種（2026-06-22）、Piperic は 14 種（2026-07-13）、Shifter は 16 種（2026-10-06）、AB通信は 10 種（2026-10-16）、Parallel World は 39 種（2026-10-26、うち GPTBot を見出しにしています）です。拒否の範囲も、「Disallow: /」の全面ブロック（AB通信）、トップページ（/）を許可しない（Shifter、Parallel World）、範囲の記載なし（Zyte、Piperic）と分かれます。AB通信の同じ 99 件でも、GPTBot は 32.3%、10 種のどれかは 35.4%（35 件）です（2026-10-16）。Zyte の同じ 1,111 件でも、GPTBot は 10.3%、「Blocks AI crawlers」は 12.3% です（2026-06-22）。
3. 分母が違う
robots.txt を取得できなかったサイトや、robots.txt がないサイトの扱いが調査ごとに違います。
- Zyte：robots.txt がないサイトも含めた 1,111 件を分母にしています。robots.txt があるのは 817 件です（2026-06-22）。
- Piperic：「稼働中」（HTTP 200 かつパーキングでない）のサイト 363,583 件を分母にしています（2026-07-13）。
- Shifter：4xx は「ルールなし」、5xx は「すべて拒否」として扱い、読める robots.txt を返した 5,754 サイトを分母にしています（2026-10-06）。
- AB通信：接続エラーやアクセス拒否（403 など）で確認できなかった 21 サイトを分母から除外し、robots.txt がない（404 など）サイトは「未記載」として分母に含めています。分母は 99 件です（2026-10-16）。
- Parallel World：403 や 5xx を返したサイトなど、ボット別の可否を判定できなかったサイトを分母から除き、robots.txt がない（404 など）サイトは「すべて許可」として分母に含めています。分母は 719 件です（2026-10-26）。
4. 時期が違う
Zyte は 2025年10月に収集（2026年6月22日公開）、Piperic は 2026年7月13日、Shifter は 10月6日、AB通信は 10月16日、Parallel World は 10月26日の時点の数字です。robots.txt は随時変わります。
この比較から言えないこと
- どの数字が「日本の実態」かは、知りたい対象によって変わります。この表はどれかを選ぶものではありません。
- 他の調査の値は各公開ページの記載を転記したもので、Parallel World が再計算したものではありません。
- robots.txt は「お願い」であり、実際にどのボットが訪れているかは、どの調査からも分かりません。
Parallel World の調べ方・グラフ・週ごとの数字：日本のサイトは AI ボットをどう扱っているか（Parallel World）。週次データ：jp-ai-bot-census トップ、data/series.csv
English: Is the share of Japanese sites blocking AI crawlers 1%, 10% or 32%? Why the surveys differ (October 2026)
The surveys differ in what they count (all live sites / top .jp domains / sites popular in Japan / major sites picked by editors), in the denominator (for example, sites whose robots.txt could be checked) and in the metric (which bots, blocked how far), so the numbers differ. Across live Japanese websites, 1.0% block at least one AI crawler (Piperic, 2026-07-13, denominator 363,583). Among the top 1,000 .jp domains on the Tranco list, 10.3% disallow GPTBot (Parallel World, measured 2026-10-26, denominator 719). Among sites popular in Japan, 10.3% have a Disallow rule for GPTBot (Zyte, published 2026-06-22, collected October 2025, denominator 1,111). Among major Japanese sites picked by an editorial team, 32.3% fully block GPTBot (AB通信, 2026-10-16, denominator 99). Across the world's top 10,000 sites, 20.4% block at least one AI crawler (Shifter, 2026-10-06, denominator 5,754, not Japan-specific). The two 10.3% figures come from different surveys with different sites, denominators and dates; they are not the same data.
| Survey (publisher) | Published | Sites | Denominator | Metric | Value | Source URL |
|---|---|---|---|---|---|---|
| State of Web Access 2026: Japan (Zyte) | 2026-06-22 (data: collected October 2025) | 1,111 sites popular in Japan, from SEMrush rankings across about 110 industries (popular in Japan, not necessarily Japanese companies) | 1,111 (includes sites without robots.txt; 817 have one) | robots.txt has a Disallow rule for GPTBot (scope not stated) | 10.3% (“Blocks AI crawlers”: 12.3%) | zyte.com/sowa/2026/geo/country/as-jp |
| AI Access Report: Japan (Piperic) | 2026-07-13 (data: snapshot of the same day) | 363,583 live, content-verified websites assigned to Japan (ccTLD-based) | 363,583 | robots.txt excludes at least one of 14 known AI crawlers | 1.0% (3,628); news sites 23.13% (n=134); GPTBot 0.8% (2,897) | piperic.com/ai-report/jp |
| Who Blocks the AI Crawlers? (Shifter), not Japan-specific | 2026-10-06 (data: measured the same day) | Top 10,000 Tranco domains, worldwide | 5,754 (readable robots.txt) | At least one of 16 AI crawlers may not fetch the homepage / | 20.4%; GPTBot 15.1% (871); top 1,000: 29.5% | shifter.io/blog/who-blocks-the-ai-crawlers-top-10000-sites |
| Major Japanese sites and AI crawlers, October 2026 (AB通信, markenote.jp) | 2026-10-16 (data: surveyed the same day) | 120 major Japanese sites in 19 sectors, chosen by the editors | 99 (robots.txt checked) | "Disallow: /" in the GPTBot group (full block) | 32.3% (32); any of 10 crawlers 35.4% (35) | markenote.jp/article/4276 |
| How Japanese sites treat AI bots (Parallel World) | 2026-10-26 (data: measured the same day) | First 1,000 .jp registrable domains of Tranco list W3ZV9 | 719 (determinate robots.txt) | robots.txt disallows the top page / for GPTBot | 10.3% (74) | pw.migurei.ai/ja/research/japanese-sites-and-ai-bots |
Rows are in order of publication. Breakdowns inside one survey (Piperic's news sites, Shifter's top 1,000) are that survey's own comparison, not a comparison between surveys. Other surveys' values are copied from their pages as read on 28 October 2026 (UTC), not recomputed by us. The surveys also differ in how they treat sites without a robots.txt or whose robots.txt could not be fetched (403, 5xx), and in their dates, from October 2025 (Zyte's collection) to October 2026.