LLM解釈可能性手法は実際の振る舞いを予測できず

研究者らがCHIVEというエージェント型パイプラインを開発した。このシステムは実世界の設定で言語モデル（LLM）の予期しない振る舞いを発見し、反事実的プロンプト編集を通じてそれを説明する。評価の結果、モデルの内部状態を読み取り理解しようとするアクティベーション読み取り解釈可能性ツールは改善をもたらさなかった。これらのツールを使用したエージェントは、単にトランスクリプトを読んだエージェントと変わらない精度で実験結果を予測した。