AI判断力測るパックマンのベンチマーク公開

米国企業TypeSafe AIが開発したJevは、チャットボットを支える大規模言語モデルとは異なる系統に属する。文章を書く代わりに、確率的意思決定モデルは与えられた情報を受け取り、あらかじめ設定された選択肢——例えば顧客の問い合わせが返品か、技術的問題か、その他か——それぞれの確率を返す。説明文を生成する必要がないため、このタイプのモデルは素早い判断が求められる場面に適している。

ベンチマークのルールはその重視点を反映している。残機が3つすべて失われるか5分が経過するとゲーム終了となり、AIは迷路の配置、ドットの位置、ゴーストの位置をJSONで受け取ってから上下左右の中から選ぶ。モデルが2秒以内に答えられない場合、単純な代替アルゴリズムが方向を選び、その置き換えはカウントされる——つまりモデルのスコアは判断力だけでなく応答性も反映する。

ゲームは従来のパックマンと同じルールに従うゴーストと対戦し、正解にたどり着くまで考えるのに時間がかかるモデルは上位に入れない可能性がある。OpperはKev、Laya、Clef、GPT-6 Luna Decisionsを含む複数のモデルを同じゲーム環境内で比較できるようにもしており、公式サイトではAIのプレイを観戦したり、自分でパックマンを操作してモデルと対戦したりできる。