AIのコード増加量を測るベンチマーク公開

このベンチマークは、AIコーディングツールが問題を解けるかどうかとそのコストで評価されることが一般的な時期に登場した。Parsimonyはそこに第三の軸、すなわちモデルが目的達成のためにどれだけコードを書くかを加える。測定単位は不正を防ぐよう設計されており、行数ではなく条件分岐や関数呼び出し、変数名、数値を数え、改行や空白、コメントを除外することで、コードを少ない行数に圧縮しても結果が良く見えないようにしている。テストコードやドキュメント、自動生成ファイルは測定対象から外される。

公開された比較では、縦軸にAI評価サイトArtificial Analysisが算出するIntelligence Index、横軸に他モデルに対する追加コード量を取っている。この分布から、高い指数がそのまま簡潔な修正を予測するわけではないことがうかがえる。開発者はこれが両面に作用すると注意を促す。短いコードは追いにくいことがあり、量だけでは可読性や設計について断定的なことは言えない。

ソースコードと測定データがGitHubで公開されているため結果は再現可能で、開発者は追加モデルの修正データと評価手法へのフィードバックを募っている。比較対象がこれまでに示されたモデルを超えて拡大する可能性を示す動きだ。