Arena、2億ドル調達

Arenaは2023年、AIモデルのランキングをクラウドソーシングで作成するUC Berkeleyの研究プロジェクトとして始まった。この無料の消費者向けプラットフォームは現在、月間数千万人の訪問者を抱えるとされ、昨年9月にはモデルラボや企業に性能分析を販売する商用サービス「AI Evaluations」を導入した。タイミングは二つの変化と重なった。AIラボが自社モデルのベンチマークテスト不正を発見したこと、そして企業が標準ベンチマークだけに頼らず自社ニーズに合うモデル選びの支援を求めたことだ。

資金調達の発表でArenaは、AIはそれを評価する能力よりも速く進歩しており、モデルがテストされていると気づけば静的ベンチマークは機能しなくなると主張した。同社は、実際のユーザーの手に渡ったAIがどれほど安全でアラインメントが取れているかを測る中立的な第三者として自らを位置づけた。リーダーボードにアラインメント部門を追加したことは、この訴えの直接的な延長とみられ、評価を一度きりのスコアから、導入後にモデルがどう振る舞うかという継続的な問いへと変えるものだ。