ローカルLLMのコーディング、バグ修正成功は14Bだけ

GitHub Trendingで1日に200star以上を集めたlocally-uncensoredは、チャット・画像生成・動画生成・コーディングエージェントを1つのローカルデスクトップアプリにまとめることを目指している。今回のテストはコーディングエージェントが単純なバグを直せるかに絞り、ComfyUIと6〜12GBのVRAMを要する画像・動画生成は対象外とした。アプリ自体はTauri（Rust+React）で構築され、ブラウザベースの開発モードでも動作し、今回はそれを用いた。

テスト環境はAMD Ryzen 7 7700 CPU、30GiB RAM、NVIDIA GeForce RTX 5060 Ti 16GB GPU。アプリは既存のOllamaインストールを自動検出し、利用可能なモデルを一覧表示した。オンボーディングでは9Bクラスのabliteratedモデルを「Agent-ready」として推奨しており、開発元がエージェント作業にはより大きなモデルが必要だと認識していたことがうかがえる。結果はそれを裏付けた。3Bモデルはテストの失敗を見て停止し、7Bモデルは存在しないsrc/ディレクトリを探し続けて行き詰まり、14Bモデルだけがファイルを編集してテストに合格した。

注目すべき点として、Askモードではファイル編集が「Pending」として保留され承認まで適用されないが、エージェントは承認前にシェルコマンドを実行できてしまう。このため14Bモデルの最初のテスト実行は編集が未適用のまま失敗し、編集とテストのもう1ラウンドが必要になった。編集の承認を待ってからシェル実行を許可する方が自然だと筆者は指摘する。全体として、差分ベースの保留、承認ゲート付きシェル実行、Loopガードといったアプリの基盤は正しく機能したが、コーディングエージェントの成否はモデル能力に大きく依存し、この単純な課題でも14Bが最低ラインだった。