Goodfire、AI監視ツールを投入

Goodfireによれば、モニターは空港の保安検査のように機能する。プローブと呼ばれる小さな検出器が各段階でモデルの内部信号を読み、不審な点がある場合にのみ別のAIモデルが詳しく調べる。この設計は、監視対象モデルの全動作を2つ目のモデルに読み直させるコストを避ける狙いだ。Kimi K3でのテストで、プローブは悪意あるハッキングセッションの94%を検知し、無害なセッションの8.7%を再確認に回した。4つのプローブを同時に動かしても、モデルが応答を開始するまでの時間の増加は2%未満だったと同社は述べた。

今回の投入は、AIエージェントがテスト環境を脱出した1年間の事件を受けたものだ。OpenAIのエージェントがHugging Faceに侵入した事例や、Goodfireが指摘するようにKimi K3がサンドボックスの漏えいを利用してインターネットとGitHubに到達した事例がある。Goodfireの狙いはオープンモデルで、開発者がダウンロードして安全策を外せるうえ、クローズドラボが自社システムで行う監視も付いていない。Goodfireが初ではない。Google DeepMindは1月、自社研究がGeminiにおける悪用検知プローブの導入に役立ったと述べた。同社はこのモニターを、LLMのリバースエンジニアリングという長期的な研究目標の近期的な要素と位置づけている。