AI ボット一覧(2026年11月):User-Agent・公式 IP リスト・本物か確かめる方法
User-Agent は名乗りにすぎない。IP が公式リストにあるかで確かめる。アクセスログで GPTBot や ClaudeBot を見つけても、その名前だけでは本物とは言えない。運営会社が公開している IP リストに、そのリクエストの送信元 IP があるかを照合し、リストがない会社は公式ドキュメントの方法(署名など)で確かめる。
私たちの観測では、migurei.ai に 2026年10月7日〜21日の間に届いた 12,801 件の .env などの探索リクエストのうち、3,000 件以上がこの一覧にあるボット名(約30種)を名乗っていた(200 を返したものは 0 件)。
全 58 件。公式 IP リストがあるのは 22 件。レジストリ版 bots-2026-11-02、確認日 2026-11-02。データ: bots.json(CC BY 4.0)。

| 会社 | 用途 | User-Agent token | robots.txt token | 公式 IP リスト URL | 確かめ方 | 確認日 | 観測 |
|---|---|---|---|---|---|---|---|
| OpenAI | 学習 | GPTBot | GPTBot | https://openai.com/gptbot.json | IP | 2026-11-02 | — |
| OpenAI | 検索 | OAI-SearchBot | OAI-SearchBot | https://openai.com/searchbot.json | IP | 2026-11-02 | — |
| OpenAI | ユーザー操作 | ChatGPT-User | ChatGPT-User | https://openai.com/chatgpt-user.json | IP | 2026-11-02 | — |
| OpenAI | その他 | OAI-AdsBot | OAI-AdsBot | https://openai.com/adsbot.json | IP | 2026-11-02 | — |
| Anthropic | 検索 | Claude-SearchBot | Claude-SearchBot | https://claude.com/crawling/bots.json | IP | 2026-11-02 | — |
| Anthropic | ユーザー操作 | Claude-User | Claude-User | https://claude.com/crawling/bots.json | IP | 2026-11-02 | — |
| Anthropic | 学習 | ClaudeBot | ClaudeBot | https://claude.com/crawling/bots.json | IP | 2026-11-02 | — |
| Anthropic | 学習 | anthropic-ai | anthropic-ai | https://claude.com/crawling/bots.json | IP | 2026-11-02 | — |
| Perplexity | ユーザー操作 | Perplexity-User | Perplexity-User | https://www.perplexity.com/perplexity-user.json | IP | 2026-11-02 | — |
| Perplexity | 検索 | PerplexityBot | PerplexityBot | https://www.perplexity.com/perplexitybot.json | IP | 2026-11-02 | 2026-10-21 n=1 2026-10-31 n=12 当社の観測(運営会社の公表ではない) |
| 学習 | Google-Extended | Google-Extended | https://developers.google.com/static/search/apis/ipranges/googlebot.json https://developers.google.com/static/search/apis/ipranges/special-crawlers.json https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers.json https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json | IP | 2026-11-02 | — | |
| ユーザー操作 | Gemini-Deep-Research | Gemini-Deep-Research | https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers-google.json https://developers.google.com/static/search/apis/ipranges/user-triggered-fetchers.json | IP | 2026-11-02 | — | |
| その他 | Google-CloudVertexBot | Google-CloudVertexBot | https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | IP | 2026-11-02 | — | |
| その他 | GoogleOther | GoogleOther | https://developers.google.com/static/search/apis/ipranges/googlebot.json https://developers.google.com/static/search/apis/ipranges/special-crawlers.json | IP | 2026-11-02 | — | |
| 検索 | Googlebot | Googlebot | https://developers.google.com/static/search/apis/ipranges/googlebot.json | IP | 2026-11-02 | — | |
| 検索 | Google-InspectionTool | Google-InspectionTool | https://developers.google.com/static/search/apis/ipranges/googlebot.json | IP | 2026-11-02 | — | |
| Microsoft | 検索 | bingbot | bingbot | https://www.bing.com/toolbox/bingbot.json | IP | 2026-11-02 | — |
| Apple | 学習 | Applebot-Extended | Applebot-Extended | https://search.developer.apple.com/applebot.json | IP | 2026-11-02 | — |
| Apple | 検索 | Applebot | Applebot | https://search.developer.apple.com/applebot.json | IP | 2026-11-02 | — |
| DuckDuckGo | 検索 | DuckDuckBot | DuckDuckBot | https://duckduckgo.com/duckduckbot.json | IP | 2026-11-02 | — |
| Common Crawl | 学習 | CCBot | CCBot | https://index.commoncrawl.org/ccbot.json | IP | 2026-11-02 | — |
| Meta | 学習 | meta-externalagent | meta-externalagent | — | なし | 2026-11-02 | — |
| Meta | ユーザー操作 | meta-externalfetcher | meta-externalfetcher | — | なし | 2026-11-02 | — |
| Meta | 検索 | meta-webindexer | meta-webindexer | — | なし | 2026-11-02 | — |
| Meta | その他 | meta-externalads | meta-externalads | — | なし | 2026-11-02 | — |
| Meta | その他 | facebookexternalhit | facebookexternalhit | — | なし | 2026-11-02 | — |
| Amazon | 学習 | Amazonbot | Amazonbot | — | なし | 2026-11-02 | — |
| Amazon | 検索 | Amzn-SearchBot | Amzn-SearchBot | — | なし | 2026-11-02 | — |
| Amazon | ユーザー操作 | Amzn-User | Amzn-User | — | なし | 2026-11-02 | — |
| ByteDance | 学習 | Bytespider | Bytespider | — | なし | 2026-11-02 | — |
| Mistral AI | ユーザー操作 | MistralAI-User | MistralAI-User | — | なし | 2026-11-02 | — |
| You.com | 検索 | YouBot | YouBot | — | なし | 2026-11-02 | — |
| Exa | 検索 | ExaSearchBot | ExaSearchBot | — | なし | 2026-11-02 | — |
| Exa | ユーザー操作 | ExaUser | ExaUser | — | なし | 2026-11-02 | — |
| Cohere | 不明 | cohere-ai | cohere-ai | — | なし | 2026-11-02 | — |
| xAI | 不明 | xAI-SearchBot | xAI-SearchBot | — | なし | 2026-11-02 | — |
| xAI | 不明 | GrokBot / xAI-Grok | GrokBot / xAI-Grok | — | なし | 2026-11-02 | — |
| DeepSeek | 不明 | DeepSeekBot | DeepSeekBot | — | なし | 2026-11-02 | — |
| Alibaba | 不明 | Qwenbot | Qwenbot | — | なし | 2026-11-02 | — |
| Zhipu AI | 不明 | ChatGLM-Spider | ChatGLM-Spider | — | なし | 2026-11-02 | — |
| Diffbot | 不明 | Diffbot | Diffbot | — | なし | 2026-11-02 | — |
| Parallel Web Systems | 検索 | ShapBot | ShapBot | https://docs.parallel.ai/resources/shapbot.json | IP | 2026-11-02 | — |
| Parallel Web Systems | ユーザー操作 | Shap-User | Shap-User | — | なし | 2026-11-02 | — |
| ByteDance | 不明 | TikTokSpider | TikTokSpider | — | なし | 2026-11-02 | — |
| Cốc Cốc | 検索 | coccocbot | coccocbot | — | なし | 2026-11-02 | — |
| Yandex | 検索 | YandexBot / YandexMobileBot | YandexBot / YandexMobileBot | — | なし | 2026-11-02 | — |
| Huawei | 検索 | PetalBot | PetalBot | — | なし | 2026-11-02 | — |
| Semrush | その他 | SemrushBot | SemrushBot | — | なし | 2026-11-02 | — |
| Ahrefs | その他 | AhrefsBot / AhrefsSiteAudit | AhrefsBot / AhrefsSiteAudit | — | なし | 2026-11-02 | — |
| Moz | その他 | DotBot | DotBot | — | なし | 2026-11-02 | — |
| Majestic | その他 | MJ12bot | MJ12bot | — | なし | 2026-11-02 | — |
| Babbar | その他 | Barkrowler | Barkrowler | — | なし | 2026-11-02 | — |
| Palo Alto Networks | その他 | — | — | — | なし | 2026-11-02 | — |
| migurei (ours) | その他 | pw-trial-compare | — | — | なし | 2026-11-02 | — |
| migurei (ours) | その他 | migurei-ci-deploy-check | — | — | なし | 2026-11-02 | — |
| Bluesky | その他 | Cardyb | Cardyb | — | なし | 2026-11-02 | — |
| DeepSeek | ユーザー操作 | — | — | — | なし | 2026-11-02 | — |
| ユーザー操作 | — | — | なし | 2026-11-02 | — |
自分のサイトで、ボットが robots.txt を守り、本物の IP から来ているかを調べる: AI ボットのアクセス確認(Parallel World)。実際のログでの AI ボットの初回訪問の記録: AI ボットの初回訪問の調査。
自分のサイトが AI ボットに返す応答を curl で確かめる手順: robots.txt だけでは分からない:curl で確かめる。
作成: Parallel World