3モデルとも同じ3項目が不合格

テストは実用的な問いから始まった。どの動物の映像が再生数を稼ぐのか。YouTubeの動物動画1,279本を数えると、中央値は桁違いにばらついていた——飲むシーンは5,310万回、くしゃみは2,125万回だが、毛づくろいは516万回だった。毛づくろいは無難に見え、動きも分かりやすいので選んだ。この選択が後に効いてくる。

第1回はモデルだけを変え、画像、プロンプト、長さ、判定を固定し、Codexが5項目を採点した。3モデルともカメラ固定と中央配置は合格し、残り3項目は不合格。しかも壊れた箇所が一致していた。秒0.10ドルで最も高価なwan-3.0だけが中央配置で落ち、クリップの途中で顔が変わった。安い2モデルは項目ごとに一致したため、価格は品質を予測しなかった。

次に著者は前脚を隠し、動きをひげの揺れとまばたきに縮めて、wan-3.0を外し、モデルの限界と題材の難しさを切り分けた。融合、歪み、消失は再現しなかった。残ったのは両モデル共通で細い線——ひげの本数と長さ、額と頬の縞だった。これはモデル間の差ではなく、現行モデルに共通する弱点を示している。