専用モデルで判断コスト150分の1に

このエージェントは、リクエストをGitHubイシューにマッチングする週次の顧客フォローアップツールとして作られた。短い候補リストから1つを選ぶ判断が中心のタスクだ。構成は、エージェントハーネスとしてTrueForge、マッチング判断にJev、コード実行のサンドボックスにDaytonaを組み合わせる。40件のリクエストでのテストでは、すべてのマッチをOpusに任せた場合と同じ精度を、判断コスト150分の1で達成した。Jevが低確信度のマッチを返すと、それらはOpusのレビューに回され、そのまま通っていたはずの5件の誤マッチを検出した。

投稿では、JEV方式の判断モデルをローカルで訓練する方法も詳しく説明している。Qwen3.5 0.8Bを使い、60ステップで精度は37%から65%に向上し、訓練は4GBのVRAMで10分だった。TrueForge自体は、ツール定義を必要なときだけ読み込み、大きな出力をファイルに退避することでコンテキストを小さく保つ。DevRevのEnterprise Benchでは、Claude Managed Agentsとほぼ同数のタスクをおよそ3分の1のトークンで解き、認証情報はサンドボックスの外に保ちながら、すべての書き込みを承認待ちにする。TrueForgeは完全なオープンソースで、コマンド1つで動く。