Haikuに要約させると13件中4件で核心落ちる

このテストは検索パイプラインではなくモデル自体を切り分けるよう設計された。14本のウェブ記事を10/9に取得・保存し、同一ファイルを全条件に投入したため、CAPTCHAやタイムアウトが各モデルの読む内容を変えることで差が生じることはなかった。

要約の失敗は2種類に区別される。事実誤りは書かれた内容を原文と照合すれば捕まえられる。核心的主張の欠落はその方法では捕まらない。要約に何も現れず、チェッカーが比較する対象がないからだ。素のプロンプトでのHaikuの要約は、比較表の最上段で事実チェックを満点で通過しながら、13件中4件で中心的論点を落としていた。失敗は網の外側にある。

検索の限界は別の挙動を示した。プロンプトの手順は両方のギャップを同時に埋め、Haikuの核心的主張スコアを13/13に、両モデルの検索限界スコアを9〜10/10に押し上げた。一例がGPT-6発表で、素のHaiku要約は製品詳細をすべて正しく列挙しながら、ソフトウェアが人に適応するという締めの一文に触れなかった。手順を加えた版はその一文を冒頭に置き、取得テキスト内のインタラクティブUI例がGPT-5.6 Instantと表示されている点を指摘した。