Artificial Analysisがカスタムベンチマーク対応のOptimaを立ち上げ

GDPval-AAおよびAA-Briefcaseを含むよく知られたLLM評価を運営するArtificial Analysisは、AIモデルの比較でギャップを埋めるために設計された新しいプラットフォーム「Optima」をリリースした。公開ベンチマークは定義済みのタスクでモデルをテストするが、特定の組織のニーズに対して実際にどのモデルが最適に機能するかをしばしば示していない。Optimaを使用すると、ユーザーは特定のデータとワークフローを使用してカスタムベンチマークを構築し、主流のモデル全体でテストを実行して、品質、タスクあたりのコスト、タスクあたりの時間について結果を比較できる。

プラットフォームは、カスタムベンチマークの構築への3つのアプローチを提供している。ユーザーは独自ファイルまたはHugging Faceから既存の評価データセットをアップロードするか、Arize、Braintrust、またはLangfuseなどのプラットフォームからエージェントトレースを提供するか、コーディング環境と過去のセッションから情報を収集するスキルをインストールできる。レディメイドのデータがない場合、Optimaは意図されたユースケースの説明をサンプル入力と出力とともに受け入れ、ユーザーが確認および改善するための推奨テスト入力、評価基準、およびタスク例を生成する。2つのスコアリングアプローチが利用可能である。客観的な基準に対するルーブリックベースの評価、またはArtificial AnalysisがGDPval-AAおよびAA-Briefcaseなどのベンチマークに使用するアプローチと一致するペアワイズ比較方法。ユーザーはレスポンスペアのサンプルを評価し、どの回答を好むかを示してから、Optimaがテストデータセット全体でのランキングを導出する。

料金は単純である。Optimaは使用されたモデルの実際のトークンコストのみを請求し、マークアップはない。ルーブリックベースの評価は基準あたり1モデルあたり0.125ドル、ペアワイズ評価は比較あたり0.375ドル。ベンチマークの作成時、各ベンチマーク実行、および各評価ラウンドの開始時に、プラットフォームはコスト見積もりに基づいて残高を保持し、実際の使用量と発生した評価コストに基づいて請求する。

汎用的なAI評価における既知の欠点は、カスタムベンチマーク化の必要性を反映している。Epoch AIの研究では、ベンチマーク結果は、ほとんど開示されない実装の詳細に大きく依存することが示された。異なるプロンプト表現と温度設定により同じモデルのスコアが著しく異なり、SWE-benchなどのエージェント型ベンチマークではエージェントの制御ソフトウェアとツール環境を入れ替えると最大15ポイントの差が生じた。有名なAI学会から445本のベンチマーク論文の広範な調査では、ほぼすべてが定義の不明確さ、非代表的なサンプル、統計検証の欠落など、少なくとも1つの領域に方法論的な弱点を持つことが判明した。実際のアプリケーションシナリオを反映した完全な実世界タスクを使用したのは約10パーセントだけであった。Optimaの早期テスターはすでに価値を見出している。金融・会計チームはどのモデルが品質に大きな低下なしにコストを10分の1に削減できるかを発見するためにベンチマークを構築し、弁護士の文体に最も合致するモデル、または独自のイメージデータセットの要素を最も正確に特定するモデルをテストするチームもある。