グーグル、初の二重盲検AIテストを発表

Google DeepMindの新たな二重盲検評価は、AIベンチマークにおける長年の課題に対処するものだ。これまで外部評価者は、テスト問題を開示するか、モデルの重みを受け取るかの選択を迫られ、知的財産を危険にさらす可能性があった。ARC-AGIベンチマークでのAnthropicのFable 5の最近の評価遅延は、最強モデルに対する30日間のデータ保持ポリシーが摩擦を生んだ事例で、このジレンマを示している。Google CloudのConfidential Spaceを使うことで、テストデータとモデルの両方が非公開であることを暗号学的に検証し、そうした妥協を不要にする。

この手法はまた、トレーニング中にテスト問題を見たモデルが過大な結果を生む「ベンチマーク汚染」にも対処する。暗号保護により、モデルが既に見たテストに特化して自己最適化することを防げる。Gemini Flash Liteモデルを非公開ベンチマークで試験するパイロットは第一歩だが、モデル監視の新たな標準を確立する可能性がある。成功すれば、DeepMindが期待するように、サイバーセキュリティや政府など機密性の高い分野の独立組織が、データ主権やセキュリティを犠牲にせずに高度なモデルを厳格にテストできるようになるかもしれない。