ChatGPT に同じ質問を 4 回聞くと、挙げられたサービス名 83 件のうち 37 件は 1 回にしか出なかった
先に答え:AI の可視化(LLMO や GEO と呼ばれる、AI アプリの回答に自分のサイトが出るようにすること)のツールを探す日本語の質問 9 問を、ChatGPT に各 4 回、2026 年 10 月 12 日に聞きました。質問と名前の組は 83 件で、4 回中 1 回にしか出なかった名前が 37 件(45%)、2 回が 23 件、3 回が 12 件、4 回すべてが 11 件でした。
測定日:2026 年 10 月 12 日(36 回答、約 50 分で収集)。2026 年 11 月 2 日に、実験の記録から数え直しました。1 つのアプリ、1 日、少ない数です。
聞いたこと
日本の買い手が AI 可視化のツールを選ぶときに聞く種類の質問 9 問(例:「LLMO 診断ツール おすすめ」)です。どれも会社名は入っていません。各質問を 4 回、続けて聞き、各回答に出たツール名(サービス名)を記録しました。名前は、プログラム(抽出器)が回答の文章から取り出したものです。
数字
9 問 × 名前の組 83 件を、4 回のうち何回に出たかで分けた数:
| 出た回数(4 回中) | 名前の数 |
|---|---|
| 1 回 | 37 |
| 2 回 | 23 |
| 3 回 | 12 |
| 4 回すべて | 11 |
- 質問によって安定度は違います。ある質問では、出た名前が 5 件だけで、そのうち 1 件が 1 回だけ。別の質問では 14 件が出て、10 件が 1 回だけでした。
- 「3 回で足りるか」の目安:4 回のうち半分以上に出た名前を「中核」とします。4 回すべてから作った中核と、4 回のうちどの 3 回から作った中核(3 回中 2 回以上)が同じになったのは、36 通り中 10 通り(28%)でした。質問ごとには、0% が 3 問、25% が 2 問、50% が 4 問です。これは、中核が同じ 4 回から作られているため、「3 回で足りる」場合の上限であって、推定値ではありません。
根拠と限界
- 1 つのアプリ、1 日、少ない数。 ChatGPT のみ、質問ごとに 4 回、9 問、2026 年 10 月 12 日の約 50 分。Gemini、Claude、DeepSeek のぶれ方については何も言えません。
- 名前はプログラムが取り出しています。 見直しの印を付ける場合があり、名前を誤って 1 つにまとめたり、分けたりした可能性があります。
- 何回聞けば十分かは分かりません。 「10/36」は上限で、推定ではありません。
- 質問は AI 可視化ツールについてで、 多くの名前が少ない枠を争う分野です。明らかな答えが 1 つの質問は、もっと安定するかもしれません。
- 回答が正しいかは確認していません。 リストがどれだけ動くかの測定で、どのリストが正しいかではありません。
- この 99 回の実行(このうち ChatGPT の 4 回 × 9 問を使用)の記録から、1 回限りのスクリプトで数えました。新しい実行はありません。
- 出典:
docs/evidence/2026-10-13-n3-cited-domains-v2.json(実行ごとのservices欄)、knowledge/claims/named-services-vary-across-repeat-runs.md(レベル:ラボでの観測)。 - 次にやること:同じ 9 問を、聞く回数を増やして、別の日に、別のアプリで。