Jevがポケモン殿堂入り、裏でClaude Opus 5が環境を監視

Jevは文章生成ではなく「この中ならどれ？」という判断を高速にこなすAIとして登場した。以前の記事では、毎回LLMに部長会議を開かせなくてもよいのではという話を書いた。今回のポケモン実験はその延長線上にある。Standard Agentsの実験では、Jevが『Pokémon Red』のElite FourとChampionを倒したが、その周りにはClaude Opus 5によるログ監視とリアルタイムのHarness構築があった。

別のJev Pokémonプロジェクトでは、37時間40分・16,150回の判断・約1.65ドルという数字が公開されている。ここで重要なのは、Jevだけで解いたわけではない点だ。Game Boy EmulatorからRAMを読み取り、現在地やParty、Battle Stateなどを構造化してJevに渡し、A* PathfindingやMenu操作、Loop ProtectionといったDeterministic Codeが実際の操作を担っている。つまり、ルールでできることはCode、大量の小さな判断はJev、難しい問題や仕組みの改善はFrontier LLMという分担である。

この分担は、最近のAI Agent周辺で専用部品が増えている流れと重なる。判断はDecision Model、情報検索はRetriever、評価はEvaluator、権限制御はPolicy Engine、生成や複雑な推論はLLMといった形だ。Jevの評価でも、37データセット・346,009リクエストでAPI費用は10ドル未満だった一方、細かいラベル分類や低リソース言語、Rubricベースの品質評価では弱さも見えている。医療Benchmarkでも、PubMedQAではGPT-6 SolのMedium Reasoningとほぼ同程度だったが、NEJM Case ChallengesではJev 61.8％に対しGPT-6 Solが82.4％、DiagnosisArena-MCQでもJev 59.8％に対し82.4％と差が開く。

結局、JevがFrontier LLMを置き換える話ではなく、比較的狭い判断や大量に発生する判断、低Latencyが重要な判断、Costを抑えたい判断をJevに任せ、その外側にLLMを置く設計が自然だ。Confidenceも、単純に0.5で切るだけでは雑で、業務ごとのThresholdを決めるのは人間だ。AIが数字を返しても、どこから信用するかを決めるのは人間である。この分業が実際のワークフローでどこまで通用するかは、Jevをどこに置くかの設計次第とみられる。