JevとOpenAI APIが全問正解

この比較は、TypeSafeのJevが画像入力に対応し、System Oneのリクエストでテキストとともに画像を扱えるようになった中で行われた。筆者はJevの画像処理でできることと、参照として使うOpenAIのDecisions APIとの比較を目的にテストを組んだ。Jevの画像とBoxの機能はまだプロトタイプ用途の位置づけで、リクエスト形式や制限、精度はリリース間で変わり得る。

テストは5種類のタスクをカバーする。既知の写真との比較、テキスト基準による分類、例示画像による分類、フレーム間の変化の検出、物体の位置特定だ。JevとDecisions APIでは扱いが異なる。Jevは例示画像で選択肢を定義でき、Box機能は位置を返す。Decisions APIには画像で選択肢を定義するパラメータがないため、筆者は画像にラベルを付けて同じメッセージに配置した。この画像の渡し方の違いが、リクエストサイズや所要時間の差の一因となっている。

精度は両者とも全問正解で、筆者は目視で判断しやすい写真を使ったためとしている。より差が出たのは信頼度の値だ。Decisions APIは0や1に近い値を返す傾向があり、Jevは同じ犬のケースで0.93などより中程度の値を返した。ジェスチャーのケースではJevが信頼度1.00を返したのに対し、Decisions APIは拳に0.04を残した。いずれも閾値の0.5付近にはならなかった。速度ではJevの合計待ち時間が3.639秒、Decisions APIが6.269秒だった。ただし筆者はこの時間に画像アップロードが含まれ、1回の計測にすぎないため、小さな差は逆転し得ると注記している。費用はJevが合計約0.4セント、Decisions APIが約0.26セントで、この規模では小さな差だが呼び出し量が増えれば広がる。