上位 .jp サイトの /llms.txt に、ファイルではなく HTML ページを 200 で返すサイトが、3 週続けて実際のファイルの約 2 倍あった
先に答え:2026 年 10 月 26 日の週次スキャンで、/llms.txt を聞いた上位 .jp サイト 777 件のうち、本物の llms.txt があったのは 29 サイト(3.7%)、200 を返したのにファイルではなかったのは 69 サイト(8.9%)でした。69 サイトはすべて text/html を返しました。ステータスコードの 200 だけで数えると 98 サイト(12.6%)が「ある」ことになり、実際の約 3.4 倍です。
測定日:2026 年 10 月 26 日、11 月 2 日、11 月 9 日の 3 回(毎週月曜のスキャン)。同じ Tranco(訪問の多いドメインの公開ランキング)の一覧を使い、当社のスキャナーの名乗り(User-Agent)で、日本の IP から /llms.txt を 1 回ずつ取得しました。サイトの名前は出しません。
数字(3 週)
| 週のスキャン日 | 確認できたサイト | 本物のファイル | 200 だがファイルではない | 本物の何倍 |
|---|---|---|---|---|
| 2026 年 10 月 26 日 | 777 | 29(3.7%) | 69(8.9%) | 2.4 |
| 2026 年 11 月 2 日 | 782 | 30(3.8%) | 66(8.4%) | 2.2 |
| 2026 年 11 月 9 日 | 775 | 30(3.9%) | 63(8.1%) | 2.1 |
- 2026 年 10 月 26 日の 777 サイトの内訳:本物のファイル 29、200 だがファイルではない 69(すべて
text/html)、それ以外 679(ほとんどが 404)。 - 「ファイルではない」は、
Content-Typeがプレーンテキストでも Markdown でもない、本文が空、または HTML タグで始まる場合です。存在しないアドレスに 200 でページを返す動きを、ソフト 404 と呼びます。 - 確認できたサイトは、robots.txt が別のドメインから返されたサイトと、/llms.txt の応答が別のドメインで終わったサイトを除いたものです。週ごとに 775〜782 サイトです。
- 本物のファイルの数は 29、30、30 とほとんど動かず、ページを返すサイトの方が毎週約 2 倍多い状態が続きました。
根拠と限界
- ほかの調査がどう数えているかは分かりません。 ステータスコードで数えているかも分かりません。2 つの数字の差は、数え方で結果が 3 倍になりうることを示すだけで、ほかの調査が何をしたかは示しません。
- 200 を返す理由は分かりません。 サイトのサーバーは見ていません。すべてのアドレスにトップページなどを返す設定が原因と思われますが、確認した事実ではありません。
- llms.txt を AI アプリが読むか、HTML ページを llms.txt として扱うかは、別の問いです。 llms.txt は提案で、標準ではありません。
- 当社のフィルタは文法を確認しません。 プレーンテキストで内容が誤ったファイルは「ある」と数え、本物のファイルが変わった
Content-Typeで返されると「ファイルではない」と数えます。 - 同じ一覧の上位 .jp サイトだけ(1,000 件のうち約 780)、当社のスキャナーからの観測です。 応答が別のドメインで終わったサイトは除いています。ほかのサイトは違うかもしれません。
- 出典:
knowledge/claims/jp-sites-answer-llms-txt-with-html-soft-404.md(2026 年 10 月 26 日の週。777 件のうち 29、69、98 は、一覧 W3ZV9(2026-10-25)の週次集計の公開 CSV の行と、実行時の記録の数え直しで一致)、2 週目と 3 週目は各週の公開 CSV の同じ行。レベル:ラボでの観測。 - 次にやること:スキャンは毎週月曜に続け、次の数字は 2026 年 11 月 16 日分です。