
何が起きたか
Artificial Analysisが「AA-Briefcase」という新しいベンチマークを発表し、AIモデルを複数週にわたる知識業務に対応させるテストを実施しました。Slackメッセージやメール、会議録音、データ抽出など、現実の業務環境から引き出した数千のファイルを統合して処理する能力を測定したところ、最高性能のClaude Fable 5でも全タスク基準をクリアしたのはわずか3%です。
なぜ重要か
91タスク中31タスクでは、どのモデルも50%の達成率に到達できませんでした。精度が低いモデルは必要なファイルを見落とすなど基本的な実行で失敗しますが、高性能なモデルであっても明らかな要件は満たしながら、複数ソースから情報をつなぎ合わせなければ見落とされてしまう細部を逃します。つまり、一見優秀なAIであっても、ビジネスで求められる複雑な知識業務には現在、本質的な課題があることになります。
注目点
1タスクあたりのコストは約$0.04(DeepSeek V4 Flash)から$31以上(Claude Fable 5)と、800倍を超える差があります。性能と価格のどちらを重視するかという選択が、企業にとって現実的な課題となる状況を示しています。
こういう要約が、毎朝あなたのメールに届きます。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
次の記事へGitHubが社内向けAIアナリティクス・エージェント「Qubot」を構築し、データウェアハウスへのアクセスを一般化——従来は難しかったデータ分析を自動化しました。