「Parallel World」と名前で聞くと AI は何と答えるか：自社の記録（2026年10月）
Parallel World は、サイトが AI にどう見えているかを測るサービスです。そのサービス自身について、AI アプリに「Parallel World」と名前を挙げて尋ねたとき、AI がどう答えるかを調べました。結果は、うまくいっていません。このページは、その記録を、うまくいかなかった部分も含めて公開するものです。
記録日：2026 年 10 月 15 日（質問の実行は、日本時間の 2026 年 10 月 13 日と 14 日の朝 7 時台）。数字はすべて、リポジトリに記録済みの採点ファイル lab/grades/2026-10-13-named-compare-a.json と lab/grades/2026-10-14-named-compare-b.json から取っています。
このページの言葉
- 当社：migurei（HBLAB の子会社）。Parallel World を運営しています。
- 回と周：8 問を 1 周とし、第 1 回は 2 周、第 2 回は 1 周（計 3 周＝24 件）。DeepSeek は第 1 回の 2 周（16 件）のみです。「回」は実行の単位、「周」は 8 問を通して聞く単位です。
- 事前に固定した採点基準：質問を実行する前に、正解の内容と誤りの内容を決め、変更履歴に記録（コミット）して変えられなくしたもの（凍結）です。
- 見つからず：採点ファイルの区分（not_found）で、「別物と取り違え」と「特定できず」の合計です。
- 取得：AI のアクセスがサーバーのログに残ったこと。
先に結論
- ChatGPT：事前に固定した採点基準で「正しい」は 24 件中 1 件（現在のページに合わせて採点し直すと 4 件）です。「誤り」の 4 件 は、すべて「サービスは開発中・クローズドベータ」という古い基準との食い違いによるものです。現在のページに合わせると「誤り」は 0 件 です。どちらの基準で数えるべきかは、まだ決めていません。
- Gemini：24 件中 8 件が誤りです（ただし採点者が迷った 2 件があり、7 件から 9 件の幅があります）。「正しい」は 0 件 です。ほかに 4 件 は、当社とは結びつかない「別の Parallel World」を説明していました。
- DeepSeek：第 1 回の 16 件の回答だけです。誤りは 16 件中 3 件、「正しい」は 16 件中 0 件です。別の会社 Parallel Labs のツールと取り違えたものが 16 件中 1 件ありました。
- 当社が直したこと：サービスのページを「提供中」の記述に直しました（2026 年 10 月 12 日）。ただし、直したあとに質問を始めたので、直した効果は測れていません。Gemini の誤りには、これまで対応する修正がありません。
- Claude：測定していません。
アプリ別：正しい／誤り／別物との取り違え
| アプリ | 回答数 | 正しい | 一部だけ正しい | 誤り（当社に結びつけて、基準が「誤り」と定めた内容を述べた） | 別物と取り違え | 特定できず | 数字の出典（採点ファイル） |
|---|---|---|---|---|---|---|---|
| ChatGPT | 24 | 1 件 （現在のページに合わせると 4 件） | 5 件 | 4 件 （現在のページに合わせると 0 件） | 0 件（印なし。注 3 を参照） | 14 件 | 2026-10-13-named-compare-a.json（第 1 回）と 2026-10-14-named-compare-b.json（第 2 回、combined_a_b） |
| Gemini | 24 | 0 件 | 0 件 | 8 件（7 件から 9 件の幅） | 4 件 | 12 件 | 2026-10-13-named-compare-a.json（第 1 回）と 2026-10-14-named-compare-b.json（第 2 回、combined_a_b） |
| DeepSeek | 16 | 0 件 | 0 件 | 3 件 | 1 件（Parallel Labs） | 12 件 | 2026-10-13-named-compare-a.json（第 1 回のみ。第 2 回は未実施） |
| Claude | — | — | — | — | — | — | 測定していません |
- 注 1：質問は 8 問を 1 周とし、すべて日本語で聞きました。名前は「Parallel World」とアルファベットで書き、「パラレルワールド」とは書いていません。質問文と採点の基準は、実行の前に固定して記録したシナリオファイル lab/scenarios/2026-10-12-ja-named-compare.json にあります。
- 注 2：「誤り」は、回答が当社のホスト名か名前（migurei、HBLAB など）に結びつき、そのうえで基準が「誤り」と定めた内容を述べたものです。「別物と取り違え」は、当社に結びつかない別の「Parallel World」を説明した回答で、採点ファイルでは「見つからず」のうち [namesake] の印が付いたものです。「特定できず」は、見つからないと答えた、または名前だけでは特定できないと答えたものです。
- 注 3：ChatGPT のうち 2 件の回答（c00f45a8、643c9e25）は Parallel（parallel.ai）を持ち出しました。採点上は別物の印が付いていないため「特定できず」に入れています。DeepSeek の 1 件は、Parallel Labs のツール（docs.parallellabs.app）を Parallel World として説明した回答（22a79932）です。
- 注 4：内訳の検算（正しい＋一部だけ正しい＋誤り＋別物と取り違え＋特定できず）。ChatGPT 1＋5＋4＋0＋14＝24、Gemini 0＋0＋8＋4＋12＝24、DeepSeek 0＋0＋3＋1＋12＝16。現在のページに合わせた ChatGPT は 4＋5＋0＋0＋14＋1（どの欄にも入らない）＝24。「見つからず」は「別物と取り違え」と「特定できず」の合計で、2 列は重なりません。
- 注 5：ChatGPT の「現在のページに合わせると」は、採点ファイルの
verdicts_if_f6_from_live_pageです。事前に固定した採点基準は「クローズドベータ」と書いていましたが、2026 年 10 月 12 日にページを「提供中」に直したため、基準とページが食い違いました（GitLab #53）。ChatGPT の 4 件の「誤り」は、この食い違いだけが理由です。 - 注 6：Gemini の幅。採点者が迷った 2 件のうち 1 件（f604ac32、いまは誤りに数えている）が誤りでなくなれば 7 件、もう 1 件（be3b1c3e、いまは別物）が誤りになれば 9 件です。
アプリが引用した出典
- ChatGPT：
pw.migurei.aiを回答の出典として引用したのは 24 件中 5 件、pw.migurei.aiのページを実際に取得しに来たのは 24 件中 3 件（2026-10-14-named-compare-b.jsonのcombined_a_b）。引用も取得も、質問文にpw.migurei.aiと書いた 2 問（6 件の回答）に集中しています。取得は 6 件中 3 件、引用は 6 件中 5 件 です。名前だけで聞いた 6 問（18 件の回答）では、取得は 18 件中 0 件、引用は 18 件中 0 件 です。この分け方は数字を見たあとに決めたもので、事前に固定した分け方ではありません。当社の会社サイトであるmigurei.aiだけが引用された回答も 5 件あり、5 件とも「一部だけ正しい」に入っています（採点ファイルで確認済み。「一部だけ正しい」はちょうどこの 5 件です）。 - Gemini：
pw.migurei.aiを引用したのは 24 件中 2 件（ddb8d528、42097640）、ページを取得しに来たのは 24 件中 0 件 です（2026-10-14-named-compare-b.json）。引用した 2 件の回答は、どちらも誤りでした。Gemini はpw.migurei.aiを出典に並べながら、サーバーのログにはページを取得した記録がありません。ほかの誤りでは、当社グループの別サービス（M-Meeting など）や、当社が行っていない相談・開発の提供が語られ、出典にはmigurei.ai/ja、hblab.co.jp、atpress の記事が並びます（2026-10-13-named-compare-a.json、2026-10-14-named-compare-b.jsonの理由欄）。別物の説明に付けられた出典は、いずれも Parallel World とは無関係の第三者のページでした。 - DeepSeek：
pw.migurei.aiを出典に引用したのは 16 件中 0 件 です（2026-10-13-named-compare-a.json）。取り違えた 1 件（22a79932）の出典は、Parallel Labs のdocs.parallellabs.appでした。 - 以上は、各回答に表示された出典と、採点ファイルの理由欄にあるものです。出典に表示されたことと、回答がそのページの内容を使ったことは別の話で、ここからは言えません。
直したこと、直せていないこと
- 直したこと：2026 年 10 月 12 日（日本時間の 23 時ごろ）、サービスのページを「開発中」ではなく「提供中」と書く記述に直しました（リポジトリのコミット c69c9bf。まだ作っていない機能だけを「提供予定」と書いています。無料トライアルは e29aba3 で「提供予定」のままにしました）。第 1 回の質問（日本時間 13 日 7:00 開始）の間も、第 2 回（14 日 7:00 開始）の間も、
pw.migurei.aiはこの記述のページを表示していました（採点ファイルのcode.site_sha_pw：第 1 回は 15aa3ed、第 2 回は e3414e43）。 - 効果は測れていません：修正は第 1 回の質問より前だったので、修正の前後を比べるデータがありません。また、事前に固定した採点基準が古いままだったため、現在のページと合っている ChatGPT の回答が、表では「誤り」に数えられています。
- 直せていないこと：Gemini の誤り 8 件のうち、当社グループの別サービス（M-Meeting、M-RAG など）の説明が 4 件（66b412b9、430301da、dbb0c03f、ddb8d528）、相談・開発サービスの説明が 3 件（636031f0、1976c4bc、42097640）、ロールプレイのアプリとする説明が 1 件（f604ac32）あります（理由欄を読んで数えた分類で、採点ファイルの項目ではありません）。この採点ファイルが扱う範囲で、これに対する当社の修正は記録していません。別物との取り違えを減らす修正（会会社名を製品名に添える、など）も、このページの時点では効果を測っていません。
まだ証明できていないこと
- 数字は件数です。期間は 2 日間、実行したのはエージェント用の端末 1 台、アプリごとに無料アカウント 1 つ、IP アドレスは日本ではなくベトナムのものです。日本語の、名前を挙げた質問に限った結果で、他のアカウントや他の日の答えは分かりません。
- カタカナ表記（パラレルワールド）での質問は測っていません。
- 3 周は独立していません。同じアカウントで、一時チャット（履歴を残さない機能）を使わずに実行しました。第 1 回のあと、アカウントの履歴に「Parallel World」が入っているので、第 2 回の答えは履歴の影響を受けている可能性があります。
- 採点者も再確認した読み手も AI エージェントです。再確認は、第 1 回の 48 件の回答のうち 9 件、第 2 回の 16 件の回答のうち 7 件（判断が分かれそうな回答を選んだもの）で、人間による 1 割の再確認はまだありません。「誤り」と「見つからず」の境界は、採点者の読み方の取り決めで、基準そのものではありません。
- ChatGPT の「正しい」は、数え方で変わります。「正しい」は、事前に固定した採点基準では 1 件（「クローズドベータ」と答えた回答）、現在のページに合わせると 4 件（「提供中」と答えた回答）です。別の回答なので、1 件が 4 件に増えるわけではありません。基準の古さ（GitLab #53）が決着していないので、両方を載せています。なお、「クローズドベータ」と答えた 1 件は、現在のページに合わせるとどの欄にも入りません。
- 保存された回答の一部が途中で切れています。ChatGPT の 2 件の回答（1a964a24、b6aabfde）は保存時に切れていて、保存された部分だけで採点しました。
- 「取得」は、サーバーに届いたリクエストだけです。ChatGPT が「開けなかった」と述べた回答（8015a071、f458f143）では、サーバーのログにリクエストがありませんでした。手前の Cloudflare で止められたかどうかは、まだ確認できていません。
- DeepSeek は第 2 回が未実施、Claude は未測定です。2 つとも結論を出していません。
- 誤った回答が、当社にどのような損失を与えたかは分かりません。顧客が離れた、問い合わせが減った、といった記録は持っていません。これは、AI の誤った回答が購入を止めるという外部の調査（下の主張 1）を、当社の事例として確認したものではありません。
- 書いているのも、測ったのも当社です。独立した第三者の確認はありません。
このページが参照した主張とその確かさ
- 主張 1「AI の回答が公式情報と食い違うと、購入が止まる」（ファイル：
knowledge/claims/ai-answer-conflict-with-official-info-stops-purchase.md）。確かさは外部の出典です。NTTデータの調査（2026 年 8 月 28 日〜31 日、n=3,948）を、jinrai のブログ（2026 年 10 月 13 日）が引用した記事で読んだもので、原本は未確認です。記事によれば、AI の回答が会社の公式情報と食い違うのを見た人は 37.9%、そのうち 66.6% が購入をやめたとあります。一般の消費者が対象で、法人の購入者ではなく、本人の申告であり、記事を書いた会社は AI 対策のサービスを売っています。 - 主張 2「名前を挙げて聞くと、アプリは
pw.migurei.aiを取りに来る」（ファイル：knowledge/claims/named-compare-questions-make-apps-fetch-pw.md）。確かさ：反証された（棄却）。ChatGPT は 24 件の回答のうち 3 件、Gemini は 24 件の回答のうち 0 件しか取得しに来なかったため、事前に固定した規則に従って、この 2 つのアプリについては仮説を退けました。DeepSeek は第 2 回が未実施で結論なし、Claude は未測定です。なお「アプリが検索はする」という点は退けていません（24 件中 22 件）。