LLM解釈可能性手法は実際の振る舞いを予測できず

何が起きたか

研究者らがCHIVEというエージェント型パイプラインを開発した。このシステムは実世界の設定で言語モデル（LLM）の予期しない振る舞いを発見し、反事実的プロンプト編集を通じてそれを説明する。評価の結果、モデルの内部状態を読み取り理解しようとするアクティベーション読み取り解釈可能性ツールは改善をもたらさなかった。これらのツールを使用したエージェントは、単にトランスクリプトを読んだエージェントと変わらない精度で実験結果を予測した。

なぜ重要か

AI解釈可能性研究の中核的な仮定に疑問を呈している。その仮定とは、モデルの内部状態を読むために設計されたツールが振る舞いの予測と説明に役立つというものだ。これらのツールが単純な観察よりも予測上の利点をもたらさない場合、言語モデルがなぜそのように振る舞うのかを理解するための有用性は未証明のままである。LLMの内部構造を分析する解釈可能性手法が実際の動作予測に役立たない可能性があり、これらのツールに依存する国内のAI開発者は予測精度の向上を期待できない可能性がある。

注目点

研究はまた、プロンプト編集がLLMの振る舞いをどう変えるかを予測するよう訓練されたモデルが、保留されたテスト環境に一般化することも発見した。この予測タスク自体が、既存の解釈可能性手法よりもモデル応答を理解するための、より信頼できる方法である可能性を示唆している。