スキャナー（migurei-ParallelWeb）

migurei の Parallel World が、ウェブサイトが AI エージェントにどう見えているかを調べるために使うスキャナーです。このページは、スキャナーの User-Agent に記載されている案内ページです。

スキャナーは次の User-Agent で自己申告します。

migurei-ParallelWeb/0.1 (+https://migurei.ai/ja/scanner; research@migurei.ai)

robots.txt のトークンは migurei-ParallelWeb です。スキャナーは、このトークンに対する robots.txt の指定に従います。

サイトの robots.txt に次の 2 行を書くと、スキャナーはアクセスしません。拒否された場合、スキャンは「ブロック」として記録され、内容は取得しません。

User-agent: migurei-ParallelWeb
Disallow: /

スキャンは読み取り専用です。フォームの送信、カートへの追加、会員登録、ログインは行いません。CAPTCHA の解決も、User-Agent の変更によるブロックの回避も行いません。robots.txt で Disallow されたページにはアクセスしません。

取得するのは、トップページ、カテゴリページ 1 件、詳細ページ 1 件、および robots.txt、サイトマップ、llms.txt、.well-known です。

1 回のスキャンで、スキャナーが自ら送るリクエストは 50 件以下です（ページの描画時に自動で読み込まれる画像やスクリプトは、別の上限で数えます）。同一ドメインへのリクエスト間隔は 2〜3 秒以上です。

既定の頻度は 1 サイトにつき週 1 回です。

このほか、公開されている AI 取得系の User-Agent（6〜8 種）でトップページに 1 回ずつアクセスし、ステータスコード、チャレンジの種類、応答時間だけを記録します。内容は取得せず、再試行や IP の変更もしません。

このほか、公開の外部ツール（Cloudflare URL Scanner、PageSpeed Insights）にサイトの URL を渡して結果を取得します。Cloudflare URL Scanner の公開スキャンの結果は、Cloudflare Radar に表示されます。

スキャナーについてのご質問やご要望は、research@migurei.ai までご連絡ください。