AIに3DCGの尻を作らせ比較するベンチマーク公開

一般的なAIベンチマークは数学の問題やコーディング課題に頼りがちだが、広く知られた問題はすでに学習データに含まれている可能性があり、能力を正確に測るのは難しい。LLM AssBenchはそこを回避し、標準的な答えが存在しないものを求める。Three.jsで作る写実的で操作可能な3D臀部モデルを1つのHTMLファイルに収め、肌の質感、ドラッグでの回転、クリックでの揺れまで実装させるのだ。

Luigiは、小型のAIが大型のAIに匹敵する品質の3DCGを生み出すことがあると指摘し、性能を判断するにはモデルの大きさだけでなく、目的に合ったタスクをどれだけ正確にこなすかを見る必要があると主張する。予定されている40点満点の採点は、コストを抑えつつ十分な品質を出すAIを選びやすくすることを狙っている。