KAIST、AI推論段階の分離可能と判明

韓国のKAISTとNaver AI Labの研究者が行ったこの研究は、言語モデルがテキスト出力に示す個別の推論段階が、その内部状態にも見出せるかを検証するものだ。彼らは抽出・分解・公式想起・演繹・計算を含む8つの反復的な推論操作を定義し、3つのモデルに数学問題を解かせた。解答経路はセグメントに分割され、GPT-5を使ってラベル付けされた。

異なる操作は、3モデルすべての内部表現で確実に区別でき、分離は中間層でピークに達した。使用トークンのみを見る分類器は性能が劣り、解答経路内の位置も効果を説明しなかった。誤って解かれた問題でも、モデルが行っている段階の種類は内部的に識別可能なままだった。この効果はLlama-3-8Bでも再現され、Qwen3-8Bでは訓練済み分類器がGPQA-DiamondとMATH-500に転移した。

この知見がAI安全にとって重要なのは、思考の連鎖を読むことが数少ない監督手段の一つであるにもかかわらず、Anthropicはモデルが使用したヒントを開示するのは25〜39パーセントのケースに過ぎないことを示したからだ。この手法をエラー検出や生成途中のモデル操作に使えるかは未解決で、実験は数学タスクと少数のモデルに限られる。成果は、今後の研究がこのアプローチを数学の枠を超えて実用的な監督へ広げられるかにかかっている。