判断特化AIがGPT-5より高精度で高速

この比較の出発点は実務上の不満だ。GPT-5のような生成LLMを意図分類に使うと、応答に数秒待たされ、さらにフォーマット崩れやプロンプトインジェクションへの対処も求められる。AI Nexusの答えは役割の分離にある。単純な選択と振り分けのタスクは判断特化型のSystem Oneモデルに回し、自由形式の推論が必要なケースに生成LLMを残す。

80問は20問ずつ4カテゴリーに分かれる。典型的で明確なケース、意図が重なるケース、皮肉や間接的な表現、敵対的攻撃だ。この内訳が、総合値とカテゴリー別スコアの差を説明する。GPT-5とGPT-5-miniはいずれも典型的な明確ケースで100%に達した一方、Jevの強みは難しいカテゴリーでも安定した性能にある。敵対的入力ではDecision-1が100%、Jevが95.0%だったのに対し、GPT-5とGPT-5-miniはそれぞれ80.0%だった。さらにAzureのジェイルブレイクフィルターが同じテストでHTTP 400クラッシュを引き起こした。特化型モデルは自由文を生成しないため、この障害モードを避けられる。

このベンチマークから得られる実務的な結論は、単一の勝者ではなくルーティングの型だ。System Oneモデルは確率分布を返すため、1位と2位のMarginを監視し、信頼度の低いケースを人や後段モデルに回せる。フォールバックのしきい値をMargin < 0.25とすれば、誤分類リスクを抑えつつ、前線では高速で安価な振り分けを維持できる。