VercelのPython SDKにJev向けevaluate()

Jevの起源は古いアイデア、すなわち機械学習の古典的な基本要素である分類器にある。従来は新しいタスクごとに分類器をゼロから訓練した——例えばスパムフィルタリング用にラベル付きメールを集め、その領域にモデルの重みを調整する。Jevのチームは代わりに大規模言語モデルを分類器に変えた。すでに幅広い人間の知識を備え、タスク固有の訓練が不要だ。だから安価で高速であり、自由なテキストではなく、定義した型と選択肢に準拠した構造化JSONを返す。

VercelのPythonチームはJevのAPIをほぼそのままAI SDKにラップし、表面を小さく保った——evaluate()関数1つと少数の補助型だけ。ブログでは2つの実践テストを紹介する。1つ目は、Vercelのエンジニアが英語とPythonを区別する必要があったPython REPL機能を再訪した。2日かけて訓練した手製分類器は不安定に感じられ、Jevはより良い成績だったが、それでも半端に入力された式 "what's" + " up を英語とラベル付けした。2つ目は、エンジニアが文字を選ばせ、次に抽象構文木ノードを選ばせてJevにPythonコードを書かせようとした。生成されたコードは構文的に有効だが大半が誤りで、LLMがプロンプトを詳細な計画に展開して初めて改善した。

結論は狭いが有用だ。Jevは厳密な意思決定向けに作られており、汎用の文章作成向けではない。特定のユースケースで十分な精度があるかはチーム自身が検証する必要がある——2つの例は、答えが質問を具体的な選択肢にどれだけうまく落とし込めるかに大きく依存することを示している。