--- title: "robots.txt だけでは分からない：自分のサイトが AI ボットに返す応答を curl で確かめる | Parallel World - migurei" description: "robots.txt の記述だけでは、サーバー・CDN・プラグインが AI ボットを止めていないかは分かりません。curl 3 コマンドで、robots.txt、ボットの User-Agent への応答、X-Robots-Tag を自分のサイトで確かめる手順。" lang: "ja" url: "https://pw.migurei.ai/ja/research/check-ai-bot-responses-with-curl" --- # robots.txt だけでは分からない：自分のサイトが AI ボットに返す応答を curl で確かめる [AI ボット一覧（レジストリ）](https://pw.migurei.ai/ja/research/ai-bot-registry) > 自分のサイトで確かめる robots.txt に GPTBot を許可と書いてあっても、レンタルサーバー、CDN、セキュリティ系プラグインが、書いていない理由で AI ボットに 403 を返していることがあります。サイトの持ち主は気づきにくい点です。curl が使える端末（Mac の「ターミナル」、Windows 10 以降のコマンドプロンプト）で、次の 3 つの層を順に確かめます。`<自分のサイト>` はあなたのドメインに置き換えてください。 **自分のサイトだけで試す。**他人のサイトに対して、ボットを名乗る確認リクエストを繰り返し送らないでください。 ## 1. robots.txt に何と書いてあるか まず、サイトが公開している意思表示を読みます。 ``` curl -s https://<自分のサイト>/robots.txt ``` `User-agent: GPTBot` の下に `Disallow: /` があれば、そのボットには全体を拒否と書いてあります。何も出ない、404 が返る場合は、書いていない（ルールなし）という意味です。書き方の判定をそのまま見たいときは: [AI ボットの robots.txt 確認（Parallel World）](https://pw.migurei.ai/ja/check/ai-bots)。 ここで分かるのは「書いてあること」だけです。サーバーが実際にどう応答するかは、次の層で見ます。 ## 2. ボットの User-Agent で、サーバーが何を返すか ボットが名乗る User-Agent を付けて、先頭ページのヘッダーだけ取ります（`-I` はヘッダーのみ、`-A` は User-Agent の指定）。6 つのボットの例です。User-Agent は運営会社が公開している文字列で、ボット名の token はレジストリ [bots.json](https://pw.migurei.ai/data/ai-bots/latest.json)（CC BY 4.0）の 58 件と同じものです。 ### GPTBot（OpenAI） ``` curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://<自分のサイト>/ ``` ### OAI-SearchBot（OpenAI） ``` curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://<自分のサイト>/ ``` ### ChatGPT-User（OpenAI） ``` curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot" https://<自分のサイト>/ ``` ### ClaudeBot（Anthropic） ``` curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)" https://<自分のサイト>/ ``` ### PerplexityBot（Perplexity） ``` curl -sI -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" https://<自分のサイト>/ ``` ### Perplexity-User（Perplexity） ``` curl -sI -A "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)" https://<自分のサイト>/ ``` 比較の基準として、User-Agent を付けない通常の応答も取っておきます。 ``` curl -sI https://<自分のサイト>/ ``` ### 読み方 | 見る場所 | 意味 | | --- | --- | | `HTTP/2 200` | 応答が返った。この User-Agent は、この場所からは止められていない。 | | `HTTP/2 403` | 拒否された。通常の curl が 200 で、ボットの User-Agent だけ 403 なら、User-Agent を見て止めている設定がある（サーバー、CDN、WAF、プラグインのどれか）。 | | `HTTP/2 503`、`429` | 混雑、レート制限、またはボット向けの確認ページ。 | | `server:` | 応答した側の名前（例: cloudflare、AkamaiGHost、AmazonS3）。どこで止まったかの手がかり。 | | `cf-mitigated:` | Cloudflare が応答に介入した印。`challenge` ならボットに確認ページを返している。 | **あなたの IP から試した結果であって、運営会社の IP からの結果ではありません。**200 だからといって、本物のボットが入れる証拠にはなりません。多くの CDN や WAF は、User-Agent と送信元 IP の組み合わせで判定するため、名乗りだけの curl は通り、本物の IP のボットは止まる（逆もある）ことがあります。403 のほうは、少なくとも User-Agent で止める設定があるという確かな手がかりです。HEAD リクエスト（`-I`）に別の応答をするサイトもあるので、気になるときは `-I` を外して試してください。 ## 3. X-Robots-Tag：ページの本文ではなく、ヘッダーに書かれた指示 robots.txt とは別に、HTTP ヘッダー `X-Robots-Tag` でも、検索・AI への指示（`noindex` など）を出せます。2 の応答にそのまま含まれます。 ``` curl -sI -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://<自分のサイト>/ | grep -i x-robots-tag ``` 何も出なければ、そのヘッダーはありません。`noindex` や `none` が出たら、そのページは検索インデックスに載せない指示です。意図したものか確かめてください。ヘッダーは URL ごとに違えられるので、見たいページの URL でも試します。 ## 4. ログに AI ボットの名前があったら、IP を確かめる アクセスログに GPTBot や ClaudeBot の User-Agent があっても、名前は誰でも名乗れます。本物かどうかは、送信元 IP が運営会社の公開リストにあるかで確かめます。IP の確認: [AI ボットの IP 確認（Parallel World）](https://pw.migurei.ai/ja/check/ai-bot-ip)。リストの場所は [AI ボット一覧](https://pw.migurei.ai/ja/research/ai-bot-registry) にまとめてあります。 ## 私たちの数字 私たちの定点調査（2026年第44週、Tranco 上位の .jp サイト）では、788 サイト中 61 サイト（7.7%）が、私たちの署名付き robots.txt 取得リクエストに 403 を返しました（server は AkamaiGHost が 19、AmazonS3 が 13）。この 403 は私たちのリクエストへの応答で、AI ボットへの応答そのものではありません。ただ、robots.txt を読む前の段階で止まる設定が、実際に多くのサイトにあることを示しています。調査のデータ: [.jp 上位サイトの AI ボット対応 週次定点調査](https://pw.migurei.ai/ja/research/japanese-sites-and-ai-bots)。 ![403 の Server ヘッダー：AkamaiGHost 19、AmazonS3 13、なし 9、Apache 7、awselb 5](https://pw.migurei.ai/img/posts/check-your-site-403-fig1.png) 403 を返した 61 サイトの Server ヘッダー（2026-W44） ## 出典 3 層で確かめるという考え方は、海外SEO情報ブログの記事（2026年10月28日）にあります: [robots.txtだけでは分からない、GPTBotやClaudeBotなどAIクローラーのブロック状況を調べる診断ツール](https://www.suzukikenichi.com/blog/a-diagnostic-tool-to-check-whether-gptbot-claudebot-and-other-ai-crawlers-are-blocked/)。そこで紹介されている診断ツールは英語です。本ページは、同じ確認を自分の端末で curl だけでやる手順です。 作成: [Parallel World](https://migurei.ai/)。レジストリ版 bots-2026-11-02、確認日 2026-11-02。 ```json { "@context": "https://schema.org", "@type": "HowTo", "name": "robots.txt だけでは分からない：自分のサイトが AI ボットに返す応答を curl で確かめる", "description": "robots.txt の記述だけでは、サーバー・CDN・プラグインが AI ボットを止めていないかは分かりません。curl 3 コマンドで、robots.txt、ボットの User-Agent への応答、X-Robots-Tag を自分のサイトで確かめる手順。", "inLanguage": "ja", "datePublished": "2026-10-30", "dateModified": "2026-11-02", "author": { "@type": "Organization", "name": "Parallel World", "url": "https://migurei.ai" }, "publisher": { "@type": "Organization", "name": "Parallel World", "url": "https://migurei.ai" }, "step": [ { "@type": "HowToStep", "name": "robots.txt を見る", "text": "curl -s https://<自分のサイト>/robots.txt" }, { "@type": "HowToStep", "name": "AI ボットの User-Agent で応答を見る", "text": "curl -sI -A \"<公式 User-Agent>\" https://<自分のサイト>/ で 200・403・503 と server、cf-mitigated ヘッダーを読む" }, { "@type": "HowToStep", "name": "X-Robots-Tag を見る", "text": "同じ応答の X-Robots-Tag ヘッダーを読む" }, { "@type": "HowToStep", "name": "ログの IP を確かめる", "text": "ログに AI ボットの User-Agent があれば、送信元 IP が公式リストにあるか確かめる" } ], "url": "https://pw.migurei.ai/ja/research/check-ai-bot-responses-with-curl" } ```