HonoがAIエージェント向け開発者体験を評価

Agent DXプロジェクトはシンプルな観察から始まった。AIは今やフレームワークのユーザーだが、AIに何が必要かという意見は依然として人間の意見だ。直感を測定に置き換えるため、HonoはNext.jsやAngular、Vercelも採用する一般的な手法であるAI Evalsを導入した。この手法ではエージェントがサンドボックス内でコードを書き、LLMの審査ではなく通常のテストや型チェック、静的解析で採点し、テストはエージェントから隠しておく。

3つの実験は互いに積み重なっている。導入実験では、促さなければエージェントは素のハンドラーを書くことが示され、package.jsonのヒントでNode.js実行の5/5がHonoに移った。価値実験では素のfetchハンドラーとHonoをショップAPIとノートAPIで比較し、Honoの方が成功率が高く、コード量とトークン数が少ないことが分かった。実用実験では人間向けの開発スクリプトがエージェントをハングさせることが露呈し、Hono CLIとSkillsがサーバー起動の必要性を取り除くことで対処した。

一貫したテーマは、人間のDXとエージェントのDXは乖離し得るということだ。人間にとって便利な開発コマンドがエージェントには罠になった。Hono CLIは現在1.0のリリース候補であり、プロジェクトはAI Evalsをエージェント体験を改善し続ける再現可能な方法と位置づけている。