JevがOllaya破り1位 自転車ルート判断対決

テストは「かけあがれいろはざか！」と題したゲーム風のシミュレーションとして作られ、東京・多摩地域の聖蹟桜ヶ丘駅周辺を舞台に、急な坂「いろは坂」が自然なルート選択の課題を提供した。2つの判断AIは駅を出発し、各分岐で次の3〜4本の枝の道路状況と勾配、ゴールまでの直線距離という最小限の情報だけを受け取り、事前に全ルートを計画するのではなくその場で方向を選ばなければならなかった。「距離優先」や「坂を避ける」といった基本条件はスタート前に設定できた。

結果はモデルの重みによって異なったが、Jevはどのケースでも最初にゴールに到達した。Ollayaの最も軽いwinnow版である4.6Bはより迷い、「坂を避ける」設定ではJevのほぼ2倍の時間と距離を要した。7.5B版はしばしば大きく遠回りし、12B版は改善したものの坂回避設定でもそのまま坂を登ってしまうことがあった。JevのAPI処理時間の平均は約0.3秒で安定していた一方、Ollayaはモデルサイズに応じて約0.7秒から約3秒まで幅があった。Jevの計測にはインターネット通信が含まれているため、その推論速度は際立って高いと考えられる。

それでも、winnowの12Bモデルを使ったOllayaは総距離、API呼び出し回数、推定移動時間で優ると評価され、判断回数は少ないがより慎重だった。実用上の結論は、オープンな選択肢は2秒以上の待ち時間が問題にならないルート計画用途に使え、継続稼働のコストがゼロである一方、大量の判断を素早く正確に下す必要がある場合はJevがより安全な賭けだということだ。