Nerf Bench、AIの性能変化を可視化

Nerf Benchは「Power」と呼ばれる単一の数値を中心に設計されており、この数値は意図的に精度だけよりも広い範囲をカバーしている。タスクを同じように完了しても、より多くのトークンを消費したり実行コストが高くなったりするモデルはPowerを失ったと記録される。つまりスコアの低下は必ずしも回答が悪化したことを意味しない。またこのベンチマークは独自の基準を設定している。ローンチ時の最初のテスト実行がモデルの100%の基準点を固定し、以降の実行はそれと比較して読まれる。

採点ルールは誤警報を避けるように設計されている。正規分布の分散の考え方に基づき、Nerf Benchはローンチ時性能の90%から110%の間を通常の変動と呼び、結果がその範囲を下回るか上回る状態が2回連続した場合にのみ変化を実質的なものとみなす。1つか2つのタスクに限定された低下も十分ではない。ベンチマークは性能劣化と判定する前に、広範な低下パターンを探す。

この慎重さはベンチマークが示す内容にも及ぶ。Nerf Benchは具体的なタスク、テスト内容、テスト結果を非公開にしており、これは結果の信頼性を守り、ベンチマーク狙いの不正を抑えるためだと説明している。また手法をブログの解説記事として公開しているため、基盤となるテストは非公開でも採点ロジックは見えるようになっている。