OAI-SearchBot が robots.txt だけ読んで帰るのはなぜ？
先に答え：理由は、当社にもまだ分かりません。分かっているのは次のことです。当社のサイト pw.migurei.ai では、OpenAI の検索用ボット OAI-SearchBot（IP 確認済み）が 2026 年 10 月 1 日 から 2026 年 10 月 26 日 15:58 までに 49 回来ましたが、すべて /robots.txt を読んだだけでした。サイトマップにある 29 ページのうち、取得したページは 0 です。同じ期間に、ほかの AI 向け検索サービスのボットはページを取得しています（ShapBot 19 ページ、KeenableBot 19 ページ＊）。手前でブロックしていないことは確かめました。robots.txt に OAI-SearchBot 専用の記述を加え、サイトマップの更新日を正確にしましたが、取得したページは 0 のままです。考えられる理由は、確かめていない仮説として下に書きます。
記録日：2026 年 10 月 26 日 15:58（日本時間）。数字はすべて当社のサイト 1 つのサーバーログから、記録日に集計したものです。
このページの言葉
- 当社：migurei（HBLAB の子会社）。Parallel World を運営し、検証用のサイト pw.migurei.ai（以下 pw）を持っています。
- IP 確認：ボットの名前（UA：ユーザーエージェント）は誰でも名乗れるので、接続元の IP アドレスが運営会社の公開している一覧に入っているものだけを数えています。
- ページを取得：サイトマップに載っている URL の本文を取りに来ること。
/robots.txtと/sitemap.xmlは数えません。
日ごとの記録
pw のサーバーログで、IP 確認済みのアクセスだけを日本時間の日ごとに数えたものです（KeenableBot の列だけは、名乗った名前で数えています＊）。「ページ」はその日に取得されたサイトマップ上の URL の数です。
| 日付（日本時間） | OAI-SearchBot：robots.txt を読んだ回数 | OAI-SearchBot：ページ | GPTBot：ページ | ShapBot：ページ | KeenableBot：ページ＊ |
|---|---|---|---|---|---|
| 2026-10-01 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-02 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-03 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-04 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-05 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-06 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-07 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-08 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-09 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-10 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-11 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-12 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-13 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-14 | 1 | 0 | 0 | 0 | 0 |
| 2026-10-15 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-16 | 2 | 0 | 15 | 0 | 0 |
| 2026-10-17 | 3 | 0 | 0 | 0 | 1 |
| 2026-10-18 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-19 | 3 | 0 | 0 | 19 | 0 |
| 2026-10-20 | 2 | 0 | 0 | 0 | 0 |
| 2026-10-21 ※ | 3 | 0 | 0 | 0 | 0 |
| 2026-10-22 | 2 | 0 | 0 | 0 | 9 |
| 2026-10-23 | 3 | 0 | 0 | 0 | 9 |
| 2026-10-24 | 2 | 0 | 0 | 0 | 1 |
| 2026-10-25 | 3 | 0 | 0 | 0 | 0 |
| 2026-10-26 | 2 | 0 | 18 | 0 | 0 |
| 合計 | 49 | 0 | 23 | 19 | 19 |
※ 2026 年 10 月 21 日 18:45（日本時間）に、下の「試したこと」の変更を公開しました。
ほかのボットとの比較
同じ期間、同じサイト、同じサイトマップ（29 URL、2026 年 10 月 26 日 15:58 に読んだもの）での比較です。
| ボット（運営） | 役割（運営会社の説明） | アクセス | robots.txt | sitemap.xml | 取得したページ |
|---|---|---|---|---|---|
| OAI-SearchBot（OpenAI） | ChatGPT の検索 | 49 | 49 | 0 | 0 / 29 |
| GPTBot（OpenAI） | AI モデルの学習 | 66 | 0 | 11 | 23 / 29 |
| ShapBot（Parallel Web Systems） | AI エージェント向けの検索 API | 43 | 0 | 2 | 19 / 29 |
| KeenableBot（Keenable）＊ | AI エージェントやアプリからの検索に答える検索インデックス | 25 | 2 | 2 | 19 / 29 |
- OAI-SearchBot の 49 回を名乗り方で分けると、許可の確認だけをする
OAI-SearchBot/1.4; robots.txt;が 11 回、OAI-SearchBot/1.0が 38 回、ページを取得するOAI-SearchBot/1.4が 0 回でした。OpenAI の公式ページ（https://developers.openai.com/api/docs/bots 、2026 年 10 月 18 日に読んだもの）は、前の 2 つを robots.txt の確認用として説明しています。 - OAI-SearchBot は pw の
/sitemap.xmlを一度も取得していません。pw の robots.txt にはSitemap:の行があります。 - GPTBot は OpenAI のもう 1 つのボットで、取得したページは 2026 年 10 月 16 日と 2026 年 10 月 26 日に集中しています。OpenAI は「両方のボットを許可しているサイトでは、1 回のクロールの結果を両方の目的に使うことがある」と書いています（詳しくは ChatGPT は自社サイトに来ている？）。
＊ KeenableBot は当社の自動の IP 確認の対象外です（当社のボット一覧に Keenable の IP 一覧がまだ入っていません）。名乗った名前だけで数えています。Keenable が公開している IP 一覧（https://app.keenable.ai/bot/keenablebot.json ）と手作業で照合し、2026 年 10 月 24 日の時点では 24 件すべてが一覧に入っていました。
手前でブロックしていたのではありません
最初に疑ったのは、Cloudflare（サイトの手前で通信を中継するサービス）が止めている可能性です。2026 年 10 月 21 日に確認したところ、次のとおりでした。
- Cloudflare の AI ボット関連の設定はすべてオフでした。
- pw への OAI-SearchBot を名乗るアクセスは、Cloudflare 側でもすべて
/robots.txtで、すべて正常に応答（HTTP 200）していました。ブロックの記録は 0 件です。
つまり、OAI-SearchBot はページを取りに来て止められたのではなく、robots.txt だけを読んでいました。ただし、Cloudflare の独自ルール（WAF カスタムルール）は権限の都合で読めていません。pw でそのルールによるブロックの記録は 0 件でした。
試したこと
2026 年 10 月 21 日 18:45（日本時間）に、次の 2 つを同時に公開しました。
- robots.txt に OAI-SearchBot 専用のグループを追加。それまでは全ボット共通の
User-agent: *でAllow: /としていました。内容は同じ「すべて許可」ですが、User-agent: OAI-SearchBotとAllow: /の 2 行で OAI-SearchBot を名指しで明示しました。robots.txt を変えれば OpenAI がサイトを見直すきっかけになるかもしれない、と考えたためです。根拠は弱く、当社の会社サイト migurei.ai で 2026 年 10 月 12 日に robots.txt を変えた後、GPTBot がサイト全体を取得したことが 1 回あった、というだけです。 - サイトマップの `<lastmod>`（更新日）を、ページ本文が実際に変わった日に。本文のハッシュ値（内容から計算する値）が変わったときだけ日付を更新します。Google と Bing は、正確な場合に限って lastmod を使うと書いています。
結果
- 変更後、OAI-SearchBot が最初に robots.txt を読んだのは 2026 年 10 月 21 日 22:43（日本時間）、公開から 4.0 時間後でした。
- 変更後から 2026 年 10 月 26 日 15:58 までに、OAI-SearchBot は 13 回来て、すべて
/robots.txtでした。取得したページは 0、/sitemap.xmlの取得は 0 です。 - 「robots.txt を変えたら OpenAI がサイトを見直した」は、当社では 2 回のうち 1 回です（migurei.ai は見直しあり、pw はなし）。
- lastmod は、OAI-SearchBot が
/sitemap.xmlを読んでいない以上、このボットには届いていないと考えられます。Google や Bing への効果は、同じ期間に lastmod を何度も直したため、きれいに測れませんでした。
考えられる理由（どれも確かめていません）
以下は仮説です。どれが当たっているのか、複数が重なっているのか、ほかの理由なのかは分かりません。
- リンクをたどってページを見つけるが、pw にはたどり始める場所がない。 当社が見ている別のサイト（2026 年 6〜10 月のログ）では、OAI-SearchBot が新しいページを初めて取得した 853 回のうち 784 回（92%）が、直前に OAI-SearchBot 自身が取得したページからのリンクでした。pw では OAI-SearchBot がまだ 1 ページも取得していないので、この道筋がそもそも始まりません。ただし、これは別の 1 サイトでの観察で、pw で確かめたことではありません。
- robots.txt の確認と、ページの取得は別の仕組み。 OpenAI は確認用の名乗り方を別に用意しています。定期的な robots.txt の読み取りは許可の確認にすぎず、「これからページを取りに来る」ことを意味しないのかもしれません。
- GPTBot のクロールで足りている。 OpenAI は 1 回のクロールを検索と学習の両方に使うことがあると書いています。GPTBot が取得したページがあるので、OAI-SearchBot が改めて取りに来る必要がない、という可能性です。実際に検索に使われたかは、当社のログからは分かりません。
- 新しく、ほとんどリンクされていないサイトは後回し。 pw は 2026 年 10 月初めに公開した新しいサイトで、外部からのリンクもほとんどありません。Zenn の記事（hirajo さん、2026 年 10 月 11 日、https://zenn.dev/hirajo/articles/crawler-google-vs-chatgpt ）では、新しいサイトで OAI-SearchBot が最初の数日 robots.txt だけを読み、記事を公開した 2 日後にページを取得し始めたと報告されています（1 件の報告で、当社は確かめていません）。pw では、それより長く robots.txt だけが続いています。
この記録から言えないこと
- 理由は分かりません。 上の仮説はどれも確かめていません。
- サイト 1 つ、数週間の記録です。 数字は回数で、割合や傾向ではありません。自社サイトで同じになるとは限りません。
- 0 は「これからも来ない」ではありません。 記録日までに来なかった、というだけです。
- ページを取得しないことは、ChatGPT の検索に出ないことを意味しません。 GPTBot のクロールや、他社の検索結果を通じて内容が使われても、当社のログには出ません。
- ほかのボットがページを取得したことは、その検索に表示されることを意味しません。 取得とインデックス登録、回答での引用は別のことです。
- 試した 2 つの変更は同時に公開しました。 どちらが効いた・効かなかったかは分けられません。どちらも 1 回だけです。
- 書いたのも測ったのも当社です。 第三者の確認はありません。
測り方
- ログ：pw は Cloudflare Workers で動いており、届いたリクエストを 1 件ずつ記録しています（時刻、パス、UA、接続元 IP、応答コード）。ページの本文やフォームの内容は記録していません。
- IP 確認：各社の公開する IP 一覧（OpenAI、Parallel Web Systems）と照合し、一覧に入っているものだけを数えます。一覧は日付付きで保存した版を使います。KeenableBot だけは、Keenable の一覧を当社のボット一覧にまだ入れていないため、名乗った名前で数えています。
- 除外：当社が AI アプリに質問する検証（Run）の時間帯のアクセスと、当社のスキャナーのアクセスは数えていません。
- サイトマップ：2026 年 10 月 26 日 15:58 に読んだ pw の
/sitemap.xml（29 URL）。 - 集計：当社のツール
log-import bot-crawl（コード 788c947、ボット一覧 bots-2026-10-24）。日付は日本時間です。
自社のログで同じことが起きていたら
当社が確かめた順番です。原因の特定ではなく、「止めていないか」の確認です。
- 名乗り方を分ける：
OAI-SearchBot/1.4; robots.txt;とOAI-SearchBot/1.0は確認用です。ページを取得するOAI-SearchBot/1.4が来ているかを別に数えます。 - IP を確かめる：OpenAI の公式ページにある IP 一覧に入っているものだけを数えます。
- 手前の設定を見る：robots.txt で拒否していないか、CDN（Cloudflare など）の AI ボット関連の設定でブロックしていないかを確かめます。
このページも検証の対象です
このページを公開したあと、OAI-SearchBot がこのページを取得しに来るかを記録し、来なかった場合も含めてここに追記します。公開前の予想は「来ない」です。pw で OAI-SearchBot が読んだのは robots.txt だけだからです。
このページが参照した記録
knowledge/claims/oai-searchbot-polls-only-robots-on-pw.md（当社の観察、10 月 14 日〜26 日に更新）knowledge/claims/agent-search-crawlers-fetch-more-pw-pages-than-oai-searchbot.md（当社の観察）knowledge/claims/oai-searchbot-follows-links-from-fetched-pages.md（当社の観察、別サイト、仮説）knowledge/claims/openai-one-crawl-may-serve-search-and-training.md（外部の出典：OpenAI 公式ページ）knowledge/claims/sitemap-lastmod-used-if-accurate.md（外部の出典：Google、Bing と当社の観察）knowledge/claims/new-site-oai-searchbot-reads-pages-after-articles.md（外部の出典：Zenn の記事 1 件）