Common Crawl の CCBot は、当社ログが始まった 2026-10-01 以降 pw.migurei.ai のページを1つも取得しておらず、Common Crawl の公開インデックスの最新3回分(最新は 2026-10-05〜2026-10-18 のクロール)にも記録がありません。
- 根拠
- 2026-10-01 以降の当社サーバーログと、2026-11-02 に確認した Common Crawl の公開インデックス。
- 証明していないこと
- どの AI モデルがどの回の Common Crawl を使うかはわかりません。2026-10-01 より前に CCBot が来ていた可能性もあります。migurei.ai の CCBot の行の多くは名前を借りた秘密ファイルの探索で、本物の訪問ではありません。当社の robots.txt は CCBot を許可しているので、それが原因ではありません。
- 出典
- 当社のデータ、外部リンクなし
Common Crawl の公開インデックスで自社ホストを調べてください。収録されたいなら、robots.txt が CCBot を許可しているか確認しましょう。.env や鍵ファイルなどを要求する CCBot のリクエストは、本物のクローラーではなく攻撃の探索として扱ってください。