AIToday
大規模言語モデルAIビジネス・産業THE DECODER掲載日時: 2026年8月16日 16:00

Artificial Analysisがカスタムベンチマーク対応のOptimaを立ち上げ

LINEで送る
Artificial Analysisがカスタムベンチマーク対応のOptimaを立ち上げ

3つのポイント

  1. 何が起きたか

    独立したLLM評価で知られるArtificial Analysisが、ユーザー独自のデータとワークフローを使用してAIモデルを比較するカスタムベンチマークを構築できるプラットフォーム「Optima」を立ち上げた。ユーザーはデータセットをアップロードしたり、ユースケースを説明したり、サンプル入力を提供して、品質、タスクあたりのコスト、タスクあたりの時間についてモデルをテストできる。このプラットフォームは現在利用可能。

  2. なぜ重要か

    公開ベンチマークは定義済みのタスクを使用するが、特定のビジネスニーズを反映していない場合がある。Optimaは組織が実際のワークフローに対してモデルをテストできるようにしてこれに対応する。金融チームは品質に大きな低下なしにコストを10分の1に削減するモデルを発見し、法務チームはどのモデルが彼らの文体に最も合致するかをテストした。エージェント型アプリケーションでは、より安いモデルでも失敗の頻度が高い場合はより高額になる可能性があるため、生のトークン価格よりも完了したタスクあたりのコストが重要なことが多い。

  3. 注目点

    Optimaは実際のトークンコストのみを請求し、マークアップはない。ルーブリックベースの評価は基準あたり1モデルあたり0.125ドル、ペアワイズ評価は比較あたり0.375ドル。ただし、プラットフォームの有用性は、機能がどの程度正確に定義されているか、テストケースがどの程度代表的であるかに依存する。安く高速な出力でも、ビジネス価値をほとんど追加しない場合は大幅な手直しが必要になる可能性がある。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

OptimaはAI評価における、よく文書化された問題に対応している。公開ベンチマークは、特定のビジネスニーズに最適なモデルがどれであるかを予測できないことが多い。Epoch AIの研究では、異なるプロンプト表現、温度設定、エージェントの制御ソフトウェアの変更などの実装の小さな詳細が、モデルのスコアを著しく変えることが示された。有名な学会から445本のベンチマーク論文の広範な調査では、ほぼすべてが方法論的な弱点を持っており、実際のアプリケーションシナリオを反映した完全な実世界タスクを使用したのは約10パーセントだけであることが判明した。

ユーザーが独自のデータとワークフローでモデルをテストできるようにすることで、Optimaはこのギャップを回避する。早期ユーザーは具体的な価値を見出している。金融・会計チームは品質に大きな低下なしにコストを10分の1に削減できるモデルを発見し、法務チームはどのモデルが弁護士の文体に最も合致するかを特定した。完了したタスクあたりのコストと時間に焦点を当てることは、より安いモデルが失敗の頻度が高く、追加の後処理作業が必要になった場合、より高額で信頼できるモデルより全体的なコストが高くなる可能性があるエージェント型アプリケーションに特に関連している。

しかし、Optimaはベンチマーク自体のより深い課題を排除しない。プラットフォームの有用性は、対象機能がいかに正確に定義されているか、テストケースがいかに代表的であるか、そして評価がいかに実装されているかに依存する。提供物が高速で安価であっても、提供するプロセスにビジネス価値をほとんど追加しない場合は、大幅な手直しが必要になる可能性がある。

よくある質問
Optimaでベンチマークを構築するためにどのようなデータを使用できますか?
ユーザーは独自ファイルまたはHugging Faceから既存の評価データセットをアップロードするか、Arize、Braintrust、Langfuseなどのプラットフォームからエージェントトレースを提供するか、サンプル入力と出力とともにユースケースを説明できる。その後、Optimaが確認用の推奨テスト入力と評価基準を生成する。
ベンチマークの実行にはどのくらいのコストがかかりますか?
Optimaは使用されたモデルの実際のトークンコストのみを請求し、マークアップはない。ルーブリックベースの評価は基準あたり1モデルあたり0.125ドル、ペアワイズ評価は比較あたり0.375ドル。
Optimaはモデルの品質以外にどのようなメトリクスを測定しますか?
Optimaはタスクあたりのコストと時間をスタンドアロンの比較軸として追跡し、パフォーマンスの向上が特定のモデルの高いコストまたはより長い処理時間を正当化するかどうかを確認することが可能。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

次の記事へBlock、Squareでビットコイン決済開始