LLMベンチマークは日間で8.4ポイント変動する。
日内では2.8ポイントしか変わらない。
モデル性能は日々ゆらぎ得る。
何が起きたか
49のモデル識別子から得た31,352件の1時間ごとのベンチマークスコアを分析したところ、正規化された0〜100の複合スコアで、日内変動は2.8ポイント、日間変動は8.4ポイントだった。
なぜ重要か
本番環境のLLM APIは日によって顕著に性能が変わり得るため、コーディングや推論、ツール呼び出しといった一貫したモデル出力に依存する企業に影響する可能性がある。国内企業は、本番環境で一貫したモデル出力に依存する場面で、日による性能変動の影響を受ける可能性がある。
注目点
この分析は、モデルを繰り返しテストする継続的評価パイプライン（高頻度のカナリアタスクを含む）を用いて、持続的な変化とランダムなノイズを切り分けた。データ収集には、著者が開発したオープンソースシステム「AIStupidLevel」を使用した。
この研究は、LLMの性能が固定的ではなく、時間とともに変動することを示している。0〜100スケールでの日間変動8.4ポイントは、日内変動の2.8ポイントより明らかに大きく、日内のゆらぎよりも日ごとの変化の方が有意義だと言える。これは、一貫した出力品質が重要なアプリケーションにとって重要になり得る。著者は、このデータを収集・分析するためのオープンソースシステム「AIStupidLevel」を開発した（MITライセンス）。分析はスナップショットを提供するものの、対象期間は明示されておらず、実際の調査期間は不明だ。LLM APIを利用する企業は、持続的な変化を検出するために、性能を長期的に監視するのがよいだろう。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
マーベル・テクノロジーは2027年度第2四半期の売上高が過去最高の27億3900万ドル（前年比37%増）に達し、2027年度通期見通しも約120億ドルに引き上げた
8月27日木曜、アッシュビル中心部で看護師らが集まり、HCAヘルスケアに対し、人員配置やプライバシー、患者ケアに影響を与えるとされるAIシステム「パリンティア」の使用中止を求めた
ビザは2026年度第3四半期の好決算を発表し、オープンソースのAIサイバーセキュリティフレームワーク「Visa Vulnerability Agentic Harness（VVAH）」を拡充
エヌビディアの水曜決算は、GPUだけでなく、データ処理を最大3倍高速化するVera CPUなど周辺システムにも強みがあることを示した
マスターカードのマイケル・ミーバックCEOは、AI主導の商業と機械間決済を支える新プロトコル「Agent Pay」と、大手ステーブルコインプラットフォームBVNKの買収について説明した
Western Digital（WDC）は第4四半期に過去最高の売上高を記録し、前年同期比44%増の37.5億ドル、非GAAPベースの1株利益は3.56ドルと2倍以上に拡大した
