cairosvgパイプラインがLLMのSVGを0.218対0.005と採点

作者は、ペリカンが自転車に乗っている絵を描かせることでLLMを比較するのが一般的な遊びになったと指摘する。しかし何十枚も画像が集まると、誰がどう採点するかという問題になる。目視は疲れるうえ、基準は日によってぶれる。総合点で8点をつけても、後から理由を説明できない。このパイプラインは、根拠で裏付けられる部分——フォーマット、レンダリング、補助的な幾何測定——を自動化することで、それを解決しようとする。

作者は、circleなどのDOM要素を数えることが視覚的判断の代わりになるかを検証した。同じ2つの車輪をcircle、path、useで描くと、レンダリングされたピクセルは同一だったが、circleの数はそれぞれ2、0、1だった。これは、要素を数えるのがSVGの書かれ方を見るだけで、画面に実際に描かれているものを見ていないことを示す。そのため作者は、要素を削除してどのピクセルが変化するかを確認することで、レンダリング出力から幾何を測定する。

パイプラインは判断をpass、fail、uncertain、not_applicableの4状態で記録する。必須チェックのいずれかが失敗すれば、総合判定はfailになる。失敗はないがuncertainが残る場合、判定はuncertainとなりレビューに回される。結果を集計する際、作者はuncertainのケースを除外することに警告する。それは合格率を水増ししかねない。合格率の真の範囲にはuncertainのケースが含まれ、除外後の率だけを報告すると、誤解を招くほど良い数字になる。作者はまた、採点設計がFolkbenchブログのペリカン採点記事のアイデアに基づくこと、そして自身がFolkbenchの開発に関わっていることを述べている。記事中の測定値は、掲載コードの実行結果または例示であり、実際のモデルやサービスの測定値ではない。