何が起きたか
開発者がGoで書いたCLIツールを公開。OpenRouterのAPI経由で大規模言語モデルを4つのテストスイート（精度15タスク、命令追従12タスク、ツール呼び出し12タスク、JSON出力5タスク）でベンチマークし、各実行を3回繰り返して信頼性を確保。モデルを並べて比較し、正解あたりのコストを追跡して、JSON、CSV、Markdownで結果を出力する。
なぜ重要か
テスト結果は、小規模モデルが実務的タスクで遥かに大規模なモデルを上回ることを示している。Ling 3.0 Flashは精度タスクで15問中11問正解し、命令追従テストすべてに合格した。一方、5500億パラメータのNemotron 3 Ultraは精度で9問にとどまり、「コンマを使うな」といった基本的な制約への対応に苦労した。これは本番環境では、パラメータ数の多さより、命令を正確に追従し、ツールを正しく呼び出し、妥当なコストで正なJSONを出力できる能力が重要であることを示唆している。
注目点
ツールはオープンソースで、github.com/cheikh2shift/go-snippets/tree/main/llm-benchで無料公開されている。ユーザーは`go install`でCLIをインストールし、OpenRouter APIの認証情報とモデル名をフラグとして渡すことで、独自のモデルでベンチマークを実行できる。Go標準ライブラリ以外に外部依存関係は不要。
こういう要約が、毎朝あなたのメールに届きます。
このツールは言語モデルの評価方法の隙間を埋めている。MMUやHumanEvalなどの学術ベンチマークは理想化されたタスクで専門知識とコーディング能力を測るが、本番システムが気にするのは異なる特性だ。モデルがフォーマット制約を守るか、正しい関数を呼ぶか、有効な構造化データを返すか。OpenRouterの統一APIに対してテストすることで、複数のSDKを管理する負担を避け、異なるプロバイダのモデル間で直接「正解あたりのコスト」を比較できる。
結果は「大規模モデルが優れている」という直感に挑戦している。5500億パラメータのNemotron 3 Ultraは基本的な算数と事実再現で一貫して失敗した。一方、速度と命令追従用に設計されたLing 3.0 Flashはこれらのタスクを確実にこなした。命令追従のギャップは特に顕著だ。Nemotronが「コンマなし」「正確な単語数」といった制約に従えないという事実は、スケールだけでは制約付きの本番シナリオでの実用性が保証されないことを示唆している。モデルを選ぶチームにとって、このベンチマークは特定の実務タスクでの有効性と費用効率がパラメータ数より重要であることを示唆している。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
カマラータ氏はInceptionV1の猫・車ニューロンをV字検出器だと再解釈
Google DeepmindのGemini 4 ArgonがARC Prizeによると、4,800ドルでARC-AGI-3において97.5パーセントを記録し2位となった
MicrosoftのSurface Laptop UltraはNvidiaのRTX Sparkプラットフォームを採用し、2,599ドルから（最大5,899ドル）
Nieman Labによると、10月30日発効のMetaの新たな商用規約により、ビジネスユーザーと結びついたウェブサイトのコンテンツをクロールしAI学習に利用できる可能性がある
Vercelが木曜に公表したデータによると、TypeSafe AIのJevは、9月15日の限定リリースから2週間以内に有料チームの35%が使用した
Reflection AIがエージェント型コーディング向けオープンウェイトモデルBeamを発表
