ボットは、すでに取得したページのリンク、サイト運営者向けツールから送ったサイトマップ、または通知の仕組み(IndexNow、再取得フォーム)で新しい URL を見つけます。入口はボットごとに違い、サイト運営者が使える入口のないボットもあります。
仮説記録 2026-10-13、2026-11-13 までに再確認
仮説:OAI-SearchBot は、既にクロールしているサイトでは、直前に取得したページのリンクから新しいページの大半を見つけます。調べた大規模サイトでは、新規ページの初回取得の92%が、リンク元ページの取得直後でした。
- 根拠
- ベトナムの大規模サイトのサーバーログ(2026-06-19〜2026-10-02、ボット IP は OpenAI の公開リストで確認)と OpenAI のボット説明(2026-10-13 閲覧)。
- 証明していないこと
- 運用歴のある1サイトの観察に過ぎません。たどったリンクはすべて同一ホスト内で、別ホストへのリンクをたどるかは未検証です。別ホストからリンクを張る私たちの試験ではボットが来ませんでした。初回取得の35%は経路不明です。取得はインデックス登録ではありません。
サイト運営者にできることまだありません:これは仮説です。
外部の情報源記録 2026-10-10、2026-11-21 までに再確認
IndexNow(変更したURLを検索エンジンに知らせるプロトコル)はBingなどの参加エンジンに届きますがGoogleには届かず、アカウントは不要で、クロールも保証しません。私たちのサイトでは初期の通知(2026-10-14、2026-10-15)の数秒後にBingbotが来ましたが、その後の4回(2026-10-17〜2026-10-21)には来ませんでした。
- 根拠
- IndexNowとBingの文書(2026-10-10〜2026-10-21に確認)と、IPで検証したBingbotを記録したpw.migurei.aiの自社サーバーログ。
- 証明していないこと
- 文書には所要時間の記載がありません。私たちの観察はいずれもデプロイ1回ごとのもので、対照のある測定ではありません。数分差で送ったBingへのURL送信とIndexNowの効果は切り分けられません。OpenAI、Anthropic、Perplexity、Google、Braveのクローラーには届きません。
サイト運営者にできることIndexNowのキーファイルをサイトのルートに置き、デプロイのたびに200を返すか確認してください(私たちは一度404になりました)。ページ変更時にIndexNowで通知しつつ、サイトマップを最新に保ち、Bing Webmaster ToolsでBingがそのURLを把握しているか確認してください。
外部の情報源記録 2026-10-13、2027-01-13 までに再確認
Brave Search にはウェブマスターツールがなく、IndexNow も受け付けません。サイト運営者が使える唯一の窓口は、1つの URL の再取得を依頼するフォームで、Brave はこれを更新・削除したページ向けと説明しています。
- 根拠
- Brave のヘルプページと送信フォーム、IndexNow が公開する検索エンジン一覧、いずれも 2026-10-13 に確認。
- 証明していないこと
- このフォームが新しい URL にも有効か、再取得にどのくらいかかるかは、Brave の文書に書かれていません。
サイト運営者にできることページを更新したら、search.brave.com の再取得フォームを使ってください。新しいページで試すこともできます。IndexNow の通知が Brave に届くとは考えないでください。
当社ラボでの観察記録 2026-10-14、2026-11-09 までに再確認
2026-10-01〜2026-10-29、OpenAI の検索用クローラー OAI-SearchBot は pw.migurei.ai に58回来ましたが、取得したのは robots.txt だけでページは一度も取得しませんでした。一方、学習用クローラー GPTBot は 2026-10-26 に HTML ページ18件を取得しました。
- 根拠
- pw.migurei.ai の自社サーバーログ(2026-09-14〜2026-10-29、ボット IP は OpenAI の公開リストで確認)と、Cloudflare の設定・エッジ統計。
- 証明していないこと
- 定期的な robots.txt 取得は単なる許可確認かもしれません。1サイトのみです。GPTBot の取得は、ページが ChatGPT の検索インデックスに入ったことを示しません。Cloudflare エッジでのブロックは設定とエッジデータで否定しましたが、カスタムのファイアウォールルールは読めませんでした。
サイト運営者にできることOAI-SearchBot が robots.txt だけでなくページを取得しているか、ログで確認してください。ファイアウォールや CDN でブロックしていないことを確かめ、既に読まれているページから取得する価値のあるページへリンクしてください。
外部の情報源記録 2026-10-15、2027-01-15 までに再確認
Google はサイトマップの URL を書かれたとおりにクロールし、検索結果に表示したい版(正規 URL)を完全な絶対 URL で記載するよう求めています。リダイレクトする URL やエラーを返す URL はその版ではありません。
- 根拠
- Google のサイトマップ文書(2026-07-08 更新)、2026-10-15 に確認。加えて日本の小売サイト 3 社でサイトマップ URL を各 20 件調べた当社スキャン、2026-10-14。
- 証明していないこと
- Google は、サイトマップ内のリダイレクト URL にペナルティがあるとも、クロールがどれだけ遅れるとも述べていません。当社スキャナーのユーザーエージェントへの 403 は、Googlebot も 403 を受けている証明にはなりません。
サイト運営者にできること200 を返す最終 URL だけを記載してください。https、正規のホストとパス、リダイレクトなし、テスト用や削除済みページなしです。サイトマップの全 URL を一度取得し、リダイレクトや失敗するものを直してください。
外部の情報源記録 2026-10-16、2026-11-16 までに再確認
2026年7月に始まった試験で、Cloudflare のネットワークから得たシグナル(新しい URL、ページの変更、壊れた URL やリダイレクト)が OpenAI の検索クローラーのページ発見を助けています。Cloudflare 全体の約 1% で、数億件の新しいページが OpenAI のインデックスに加わったとされます。
- 根拠
- OpenAI と共同執筆した Cloudflare のブログ記事(2026-10-15)と Cloudflare のプレスリリース(2026-07-08)。2026-10-16 と 2026-10-21 に確認。
- 証明していないこと
- 両社自身の発表で、検証できるデータはありません。参加方法、ボット名、遅延、サイト別・国別の効果は書かれていません。自社ログ(2026-10-13〜2026-10-21)では、OpenAI の検索ボットは robots.txt しか取得せず、ページは一度も取得しませんでした。
サイト運営者にできること参加方法が公開されていないので、これに頼らないでください。存在しないページには正しく 404 を返し、未知の URL をトップページにリダイレクトしないこと。Cloudflare AI Crawl Control で AI のアクセス状況を確認してください。
外部の情報源記録 2026-10-16、2026-11-15 までに再確認
Google は RSS や Atom フィードをサイトマップとして受け付け、WebSub で変更を通知できるとしています。当社サイトでは、WebSub の通知で Googlebot は 22 秒以内にフィードへ来ましたが、新しい 2 ページへは 72 時間(2026-10-17〜2026-10-20)で 0 ページでした。
- 根拠
- Google のサイトマップ文書と W3C の WebSub 仕様、2026-10-16 に確認。pw.migurei.ai の当社サーバーログ、2026-10-17〜2026-10-20。
- 証明していないこと
- 1 回のデプロイで、通知なしの比較対象もなく、Googlebot のクロールがごく少ないサイトでの結果です。他のサイトで WebSub が遅い、役に立たないということは示しません。Google は速さを示しておらず、AI 検索ボットが WebSub を読むと書いた文書もありません。
サイト運営者にできることニュースや記事を公開しているなら、WebSub ハブへのリンクを含む Atom または RSS フィードを用意し、ハブに通知してください(無料、アカウント不要)。新しいページには、引き続きインデックス登録のリクエストと、クロール済みページからのリンクを使ってください。
外部の情報源記録 2026-10-16、2026-12-16 までに再確認
公式 MCP Registry は、アカウントなしでリモート MCP サーバー(streamable-http の URL とウェブサイト URL)を受け付けます。ドメイン所有者は DNS の TXT レコードか /.well-known/mcp-registry-auth ファイルで所有を証明し、アグリゲーターは公開 API を定期的に(例:1 時間ごと)取得することが想定されています。
- 根拠
- MCP Registry のドキュメントと GitHub 上のリファレンス(2026-10-16 閲覧)、および 2026-10-26 に HTTP ファイル方式で行った当社の掲載。
- 証明していないこと
- どのアグリゲーターがレジストリを読み、ウェブサイト URL をどう表示するかを示す文書はありません。「1 日以内に掲載」はブログ記事 1 本の情報です。レジストリはまだプレビュー版です。登録内容は編集できず、誤った登録は非推奨または削除の状態にできるだけです。
サイト運営者にできることサイトに実際の MCP サーバーがあるなら、他のディレクトリより先に、DNS または HTTP のドメイン認証で公式 MCP Registry に登録してください。公開後は変更できないため、メタデータは事前によく確認しましょう。
外部の情報源記録 2026-10-17、2026-11-17 までに再確認
OpenAI は、サイトが OAI-SearchBot と GPTBot の両方を許可している場合、1回のクロールを検索と学習の両方に使うことがあると説明しています。OAI-SearchBot のページ取得が見えなくても、OpenAI の検索データにページがないとは限りません。
- 根拠
- OpenAI のクローラー説明(2026-10-16 閲覧)と、OAI-SearchBot が robots.txt を読んだ直後に GPTBot がページを取得した pw.migurei.ai の自社ログ。
- 証明していないこと
- 「may」は、いつ、どのボットで、どの頻度かを示しません。GPTBot が取得したページが検索インデックスに入るか、どのくらいで入るかも示しません。調べた .jp サイト719件のうち、検索は許可し学習は拒否するのは4.9%でしたが、これは宣言でありボットの挙動ではありません。
サイト運営者にできることChatGPT 検索に表示されたいなら OAI-SearchBot を許可してください。OpenAI がページを持っているか判断するときは GPTBot と OAI-SearchBot の訪問を合わせて数え、robots.txt 変更後は約24時間待ってください。
ほかに挙げている原則C3
当社ラボでの観察記録 2026-10-17、2026-10-23 までに再確認
GPTBot と ClaudeBot は、私たちがサイトを Cloudflare Workers に移行した約1時間後の 2026-10-16 に、初めて pw.migurei.ai を取得しました。GPTBot はトップページからのリンクを辿り(サイトマップの17 URL 中15)、ClaudeBot は17 URL すべてを取得し、その後もサイトマップを読み直し続けました。
- 根拠
- pw.migurei.ai の自社サーバーログ(2026-10-02〜2026-10-16)で、ボットの IP は公開されている範囲と照合して確認しました。
- 証明していないこと
- 原因はわかりません。時刻が重なっても、移行がボットを呼び込んだとは言えません。Cloudflare のネットワーク上のシグナル、エッジのルール、偶然の可能性も否定できていません。取得されたことは OpenAI や Anthropic の検索インデックスに入ったことを意味しません(ClaudeBot は学習用ボットです)。1日、1ホストの観察です。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできることGPTBot はリンクされたページにしか到達せず、リンクのない2ページを取りこぼしたため、すべてのページをトップページから通常の HTML リンクで繋いでください。ホスティングを変更したら、確認済みの GPTBot と ClaudeBot の訪問をログで確認してください。
当社ラボでの観察記録 2026-10-21、2026-10-28 までに再確認
2026-10-21 時点で、Bing Webmaster Tools は migurei.ai の M-Meeting 日本語ページを最終取得 2026-10-03、サイズ 0 バイトと表示し、他の3言語版は約 196〜200 KB でした。Bing は migurei.ai のサイトマップを1つも保持していませんでした。
- 根拠
- 2026-10-21 に読んだ Bing Webmaster API と、同日の migurei.ai の当社サーバーログ。
- 証明していないこと
- サイズ 0 は未処理の取得を API がそう表示しているだけかもしれず、インデックス内のページが空とは限りません。ステータス欄は4つの URL すべてで 0 のため、何も読み取れません。Bing が URL を知っていてもインデックス済みとは限りません。以前の Bingbot のログ行はユーザーエージェントでのみ判定したものです。
サイト運営者にできること重要ページの各言語版を Bing Webmaster Tools で確認してください。サイズ 0 や古い取得日のものがあれば、その URL を送信し、サイトマップも Bing Webmaster Tools で直接送信してください。今回は robots.txt に書くだけでは不十分でした。
当社ラボでの観察記録 2026-10-21、2026-11-12 までに再確認
2026-10-21 時点で、M-Meeting の日本語・韓国語・ベトナム語ページへはサイトマップと llms.txt からしかたどれず(リンクも hreflang もなし)、14 日間で Googlebot はベトナム語ページを一度も取得しませんでした。2026-10-26 にインデックス登録をリクエストすると、Googlebot は 24 時間以内に 3 ページすべてを取得しました。
- 根拠
- 公開中ページの取得結果と migurei.ai の当ラボのサーバーログ(2026-10-07〜2026-10-29)、Google Search Console のデータ。
- 証明していないこと
- インデックス登録のリクエストはクロールを保証しません。リクエストしなかったメインページもクロールされており、Google が自然に来た可能性があります。初期の集計はユーザーエージェントのみによるものです。クロールは順位や AI での引用ではありません。Google は現在バージョン間のリンクを報告していますが、HTML は未再確認です。
サイト運営者にできること各言語版を通常のリンクと hreflang で相互にリンクし、サイトマップの各 URL に lastmod を付け、新しい言語ページは Google Search Console でインデックス登録をリクエストしてください。
当社ラボでの観察記録 2026-10-14、2026-10-28 までに再確認
Brave の再取得フォームで URL を送信した2回(2026-10-14 と 2026-10-21)とも、Bravebot を名乗るクライアントが約61分後と67分後に、それまで取得したことのない URL も含め、送信した URL だけを取得しました。サイトマップは一度も取得していません。
- 根拠
- pw.migurei.ai の当社サーバーログ、2026-10-14〜2026-10-28。
- 証明していないこと
- ユーザーエージェントは検証できません。Brave はユーザーエージェントも IP 範囲も公開しておらず、リクエストは Hetzner のアドレスからでした。観察は2回のみです。取得されても Brave のインデックスに入ったとは限りません。その後 Claude が当社を挙げる回数は増えませんでした。
サイト運営者にできること新しいページを公開したら Brave の再取得フォームで送信し、約1時間後にその URL への Bravebot のリクエストがあるかログを確認してください。それらは未検証の訪問として記録しましょう。
当社ラボでの観察記録 2026-10-16、2026-10-23 までに再確認
migurei.ai から pw.migurei.ai へのリンクは段階的に公開されました。製品ページのサイドバーは 2026-10-15 までに、トップページのカルーセルとスキャナーページは 2026-10-16 に公開されました。その後 72 時間、スキャナーページのリンクをたどって pw.migurei.ai に来た AI 検索ボットはありませんでした。
- 根拠
- 2026-10-16 と 2026-10-22 に migurei.ai のページを通常取得した結果と、pw.migurei.ai の当ラボのサーバーログ。
- 証明していないこと
- 当時は migurei.ai のログがなく、リンク元のページをどのボットが読んだかは不明です。72 時間は短い期間です。トップページのリンクはカルーセルのカード内にあり、幅 1280 px では最初に見える 4 枚に入っていません。
サイト運営者にできること自社の別サイトへのリンクを追加したら、公開中のページを取得してリンクが実際に HTML にあるか確認してください(ビルド失敗で反映が止まることがあります)。リンクに効果がないと判断する前に、ログを確認しましょう。
当社ラボでの観察記録 2026-10-16、2026-10-30 までに再確認
2026-09-30 から 2026-10-15 までの 1,571 回のテストで、ChatGPT は migurei.ai のページ(例: /en を 25 回、利用規約を 20 回)を引用しました。一方、OpenAI の検索用クローラーがそのサイトと pw.migurei.ai で取得したのは robots.txt だけでした。
- 根拠
- ChatGPT などのアプリへのテスト質問(2026-09-30〜2026-10-15)を、2026-11-03 までの自社サーバーログと Bing Webmaster Tools のデータと照合しました。
- 証明していないこと
- ほぼすべての質問に当社の URL を貼るか Parallel World の名前を入れていたため、発見型の質問ではありません。ChatGPT は OpenAI のクローラーではなく Bing から結果を得ている可能性がありますが、引用されたページに Bing での表示回数はありませんでした。2026-11-03 までに OAI-SearchBot が migurei.ai で取得したのは robots.txt だけです。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできることAI アプリがすでに引用しているページから新しいページへリンクを張り、Bing Webmaster Tools でサイトマップを送信してください。ChatGPT が引用するには OpenAI のクローラーによる事前の取得が必要だ、と決めつけないでください。
当社ラボでの観察記録 2026-10-16、2026-10-24 までに再確認
2026年10月の pw.migurei.ai では、サイトマップにだけ載せた新しいページを Googlebot が初めて取得するまで 35時間〜72時間超かかりました。一方、トップページからリンクした新しいページは約 6時間で取得されました。OpenAI、Perplexity、Anthropic の検索ボットは、サイトマップのみのページを 1件も取得しませんでした。
- 根拠
- 2026-10-14〜2026-10-20 の pw.migurei.ai の当社サーバーログ(IP は各社のリストで照合)。サイトマップのみのページ 2組とリンクしたページ 1件が対象です。
- 証明していないこと
- どの事例もページ 1組だけです。2回目の期間は Googlebot がサイト全体をあまりクロールしておらず、遅れの原因はサイトマップではなくサイトかもしれません。取得はインデックス登録や引用ではありません。Bingbot は 1組を 1分以内に取得し、もう 1組はまったく取得しませんでした。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできることサイトマップだけに頼らず、新しいページはトップページなど Googlebot がよく訪れるページからリンクしてください。IndexNow(Bing に新しい URL を知らせるプロトコル)は Bing には役立ちますが、確実ではありません。
当社ラボでの観察記録 2026-10-16、2026-11-16 までに再確認
ログを読ませてもらったベトナムの大規模サイト(2026-06-20〜2026-09-30)では、検証済みの PerplexityBot が 17,817 のパスに 24,210回リクエストしました。リファラー付きは 0件で、robots.txt を読んだのは 1回だけでした。量は 7月の 15,851回から 9月の 76回に減りました。
- 根拠
- ベトナムの大規模サイトのサーバーログ。PerplexityBot の IP は Perplexity の公式リストで照合しました(2026-10-16 に確認)。
- 証明していないこと
- 1サイトだけの結果です。サイトマップはログのない別ホストにあったため、サイトマップを使った可能性は否定できません。リファラーがないのは送らないだけかもしれず、リンクをたどらないとは言えません。9月の減少が Perplexity 側、サイト側、ログの欠けのどれによるかは不明です。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできること自社ログでは PerplexityBot を IP で検証してください。訪問前にリファラーや robots.txt の読み込みがあるとは期待せず、新しいリンクだけで PerplexityBot がそのページに来るとも考えないでください。
当社ラボでの観察記録 2026-10-18、2026-11-01 までに再確認
pw.migurei.ai では、GPTBot が 2026-10-16〜2026-10-19 に毎日サイトマップを読みましたが、サイトマップにだけ載っている新しい4 URL は1つも取得しませんでした。ClaudeBot は4つすべて、Googlebot は2つを取得しました。
- 根拠
- pw.migurei.ai の自社サーバーログ(2026-10-16〜2026-10-21)で、OpenAI の IP は OpenAI の公開リストと照合しました。
- 証明していないこと
- 1サイトで4日間に4回読まれただけです。OpenAI はもっと長い周期でサイトマップの URL を取得するのかもしれません。GPTBot がサイトマップを読む目的は不明です。GPTBot は学習用ボットで、OpenAI の検索がそのクロール結果をどこまで使うかは測れていません。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできることサイトマップだけで OpenAI のボットを新しいページに呼び込めるとは考えないでください。新しいページは、トップページなどボットがすでに取得しているページからリンクしてください。OpenAI は URL を送信する方法を公開していません。
当社ラボでの観察記録 2026-10-19、2026-11-19 までに再確認
2026年10月、Amazonbot は llms.txt か migurei.ai の JSON-LD でしか見られない pw.migurei.ai のURLを取得しました。また llms.txt を生のテキストとして読んだため、句読点が付いたままのURLが404エラーになりました。
- 根拠
- pw.migurei.ai の自社サーバーログ:2026-10-17〜2026-10-19 の Amazonbot のリクエスト13件と、2026-11-02 までの72時間の再確認。
- 証明していないこと
- 初期のリクエストは Amazon のIPリストと照合しておらず、2日間で13行だけです。後の検証では、新しいURLがサイトマップやリンクにもあったため、llms.txt によると言い切れる取得はありませんでした。取得は Alexa の回答について何も示しません。
サイト運営者にできることllms.txt などのテキストファイルでは、URLと句読点の間に必ず空白を入れてください(「):」や「)」「。」に注意)。または末尾に句読点が付いたURLを正しいページへリダイレクトしてください。
ほかに挙げている原則A8
当社ラボでの観察記録 2026-10-28、2026-11-28 までに再確認
2026-10-21〜2026-10-27、OAI-SearchBot は migurei.ai の英語トップページを7回取得し、同じホスト内の他ページへのリンクはたどりましたが、そこから pw.migurei.ai へのリンクは一度もたどらず、pw.migurei.ai では robots.txt だけを読みました(20件中20件)。
- 根拠
- migurei.ai と pw.migurei.ai の自社サーバーログ(2026-10-28 まで)。ボット IP は OpenAI の公開リストで確認。
- 証明していないこと
- サンプルは小さく、奥へたどったのは1回だけです。ホストではなく位置や優先度でリンクを選んでいる可能性があります。リンクの有無はソースコードに基づき、実際の HTML ではありません。OpenAI が新規ホストを別枠で扱う可能性もあります。後の同一ホスト試験はボットが来なくなり結論が出ませんでした。
サイト運営者にできることChatGPT 検索に載せたい内容は、OAI-SearchBot が既にクロールしているホストに置き、既に取得されているページからリンクしてください。新しいサブドメインへのリンクに頼る前に、ログを確認してください。
当社ラボでの観察記録 2026-10-28、2026-11-28 までに再確認
2026-10-26 に当社の MCP サーバーが公式 MCP Registry に掲載されると、エンドポイントへのリクエストは 2.3 日で 188 種類のユーザーエージェントから 4,362 件となり(それまでの 25 日間は 16 件)、GPTBot は MCP ディレクトリのページ(mcppedia.com、verifymcp.io)から pw.migurei.ai へのリンクを 2 回たどりました。
- 根拠
- pw.migurei.ai の当ラボのサーバーログ(2026-10-01〜2026-10-28)。GPTBot の IP は OpenAI の公開リストと照合済み。
- 証明していないこと
- GPTBot は OpenAI の学習用クローラーで、OAI-SearchBot がディレクトリページを読んだことは確認していません。新しいユーザーエージェントの多くは死活確認や評価用のプローブで、実際の利用者ではありません。ディレクトリ側のログはありません。掲載 1 回、最初の 1 週間のみです。
サイト運営者にできること実際に MCP サーバーを運用しているなら、公式 MCP Registry に掲載してください。ディレクトリサイトへの転載が第三者からのリンクとなり、OpenAI のクローラーがそれをたどります。ただし人の訪問は期待しないでください。
ほかに挙げている原則A6
当社ラボでの観察記録 2026-10-28、2026-11-28 までに再確認
migurei.ai に新設したブログは、サイトマップを robots.txt に記載しただけでメインサイトからのリンクもなかったため、13 日間 Google にも Bing にも認識されませんでした(2026-10-28 時点で 28 URL 中 28 件)。各ツールで一度送信すると、1 週間以内に Google が 23 件、Bing が 20 件をインデックスしました。
- 根拠
- Google の URL 検査、Bing Webmaster Tools の検査、migurei.ai の当ラボのサーバーログ(2026-10-15〜2026-11-04)。
- 証明していないこと
- 送信しなかった比較グループがないため、待った時間で説明できる可能性もあります。2026-10-29 に追加したフッターのリンクは 72 時間以内にどの検索ボットにもたどられませんでしたが、サイトマップとリンクの効果は分けられません。インデックスは AI での引用ではありません。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできること新しいセクションでは、robots.txt に記載しただけのサイトマップに頼らないでください。Google Search Console でサイトマップを、Bing Webmaster Tools で URL を送信し、トップページからそのセクションへリンクを張りましょう。
当社ラボでの観察記録 2026-10-21、2026-11-04 までに再確認
pw.migurei.ai では 2026-10-17 から少なくとも 2026-11-02 まで、Bing はサイトマップを何度も読み、すべての送信(IndexNow、URL 送信 API、インデックス登録リクエスト、いずれも HTTP 200)を受け付けましたが、Bingbot は送信した新しいページを取得しませんでした。
- 根拠
- pw.migurei.ai の当社サーバーログ、Bing Webmaster API、Bing の URL 検査、2026-10-20〜2026-11-02。
- 証明していないこと
- 1つのホスト、数週間の観察です。理由はわかっていません。Bing の唯一の推奨事項は「高品質なドメインからの被リンク不足」で、整合はしますが原因の証明ではありません。同じドメインの自社ブログからのリンクは効果がありませんでした。Bing のレポートはログより数日遅れます。
サイト運営者にできること送信の HTTP 200 を取得済みと見なさないでください。送信した URL への Bingbot の訪問をログで確認し、URL 検査の状態も見てください。「検出済み・未クロール」のままなら、他ドメインからのリンク獲得に取り組みましょう。
当社ラボでの観察記録 2026-10-14、2026-10-28 までに再確認
2026年10月に pw.migurei.ai の URL を Perplexity に貼り付けて質問したところ、Perplexity-User がページを取得したことは一度もありませんでした。PerplexityBot は数秒〜34分後によく来ましたが、取得したのは既に知っているページで、貼り付けたページを取得したのは 14問中 2問だけでした。
- 根拠
- 2026-10-12〜2026-10-21 の pw.migurei.ai の当社サーバーログを、Perplexity へのテスト質問と照合しました。PerplexityBot の IP は Perplexity の公開リストで確認しました。
- 証明していないこと
- 訪問が質問によるものか偶然か(Perplexity にはかなりの数の質問をしていました)は分かりません。ページが Perplexity のインデックスに入ったかも分かりません。質問数は少なく、事前登録したテストでもありません。ユーザーエージェントでは PerplexityBot に見えた訪問のうち 2件は当社オフィスからのものでした。ユーザーエージェントだけでは証拠になりません。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできることログで PerplexityBot を確認するときは、数える前に各アクセスの IP を Perplexity の公開 IP リストと照合してください。URL を Perplexity に貼り付ければそのページが取得される、とは期待しないでください。
ほかに挙げている原則A4
当社ラボでの観察記録 2026-11-01、2026-11-12 までに再確認
同じ送信方法(Google へのサイトマップ送信、Bing への URL 送信)でも、ホストによって結果が逆になりました。両検索エンジンが既に知っている migurei.ai 上のブログは 72 時間以内に 28 URL 中 17 件が Google に、20 件が Bing にインデックスされましたが、新しい GitHub Pages のホストは 11 URL 中 0 件しか認識されませんでした。
- 根拠
- Google の URL 検査、Bing Webmaster Tools のデータ、当ラボのサーバーログ(2026-10-28〜2026-11-06)。
- 証明していないこと
- 2 つのホストは運用期間、Search Console の設定、内部リンク、再送信の有無が同時に異なり、どれが効いたかは分けられません。72 時間は最終判断ではありません。インデックスは AI での引用ではありません。その後 IndexNow だけで通知した記事は、72 時間以内に Bing にインデックスされませんでした。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできること早くインデックスさせたい文章は、検索エンジンが既に知っているホストに置いてください。Google Search Console でサイトマップを、Bing Webmaster Tools で URL を送信しましょう。IndexNow(Bing に新しい URL を知らせる仕組み)だけに頼らないでください。
当社ラボでの観察記録 2026-11-02、2026-11-16 までに再確認
2026年11月、Bing Webmaster Tools は pw.migurei.ai について「質の高いドメインからの被リンクが不足している」と表示し、被リンクレポートは空でした。当社が note や GitHub に置いたリンクは nofollow か、Bing 未登録の GitHub Pages 上にありました。
- 根拠
- 2026-11-02 の Bing Webmaster Tools の推奨事項と被リンクレポート、およびリンク元ページごとの rel 属性の確認。
- 証明していないこと
- Bing はこれが当社 URL 4件をクロールしない理由だとは言っておらず、基準も公開していません。nofollow はヒントにすぎず、Bing はそれらの URL を既に把握しているため、問題は発見ではなくクロール対象に選ばれるかどうかです。各ページを 1回だけ確認した結果です。
- 出典
- 当社のデータ、外部リンクなし
サイト運営者にできることBing Webmaster Tools の被リンクレポートを見て、外部に置いたリンクの rel 属性を確認してください。Bing がまだクロールしていないページそのものに、Bing 登録済みの外部ドメインから follow のリンクを少なくとも 1本つけてください。
当社ラボでの観察記録 2026-11-09、2026-11-23 までに再確認
当社が dev.to に 2 本の記事を投稿した後(2026-10-03 ではなく 2026-11-03 と 2026-11-07)、PerplexityBot は記事内でリンクした当社ページすべてを 3〜10 分以内に取得しました。Bingbot も、IndexNow で送信してもクロールされなかったページ(記事の正規 URL)を 6 分以内に取得しました。
- 根拠
- pw.migurei.ai の自社サーバーログ(ボットは各社の IP リストで検証、2026-10-10〜2026-11-09)と、投稿時刻を示す dev.to 公開 API。
- 証明していないこと
- 記事は 2 本だけで、正規 URL 付きは 1 本です。Bingbot が正規 URL のために来たのか最初のリンクのためかは区別できません。仕組みは不明です。ボットの取得はインデックス登録を意味しません。Google が dev.to 側を正規に選ぶ可能性もあります。note の記事では PerplexityBot は来ませんでした。
サイト運営者にできることBing が新しいページを無視するなら、正規 URL を自社ページに向けた dev.to の転載記事を 1 本試し、1 時間以内にログで Bingbot と PerplexityBot を確認してください。その後、Google が引き続き自社ページを正規 URL としているか確認してください。
当社ラボでの観察記録 2026-11-09、2026-11-23 までに再確認
pw.migurei.ai にはリサーチ記事へリンクするページがなく、2026-11-09 までの 30日間で Googlebot はサイトマップの URL 49件中 13件を取得していませんでした。2026-11-03 の Google のインデックス確認では、新しい記事 9件が「検出 - インデックス未登録」でした。
- 根拠
- 2026-11-09 までの 30日間の当社サーバーログ(IP 検証済み)、当社ページのリンク確認、2026-11-03 の Google URL 検査 API。
- 証明していないこと
- リンク不足が原因とは言えません。Googlebot はこのサイトをあまりクロールしておらず、記事は公開から 6日で、リンクのない記事が 1件は取得されています。取得はインデックス登録ではありません。Bing については何も言えません。migurei.ai では同じサイト内のリンクで Bingbot は来ませんでした。
サイト運営者にできること新しい記事は、トップページや記事一覧ページなど Google が既に取得しているページからリンクしてください。一覧ページが 404 を返していないかも確認してください。サイトマップだけに頼らないでください。