ローカルLLMとClaude Opus 5の同じ盲点

この実験は実務上の懸念から生まれた。機密を扱う仕事をする人はAIを手元のマシンに置いておきたい。問題はローカルLLMをどこまで信頼できるかだった。境界を見つけるため、著者はクラウドAI（Gemini）に天気追跡アプリの要件定義書を書かせ、同じ文書をローカルLLMとクラウドAIに渡して実装させた。2つの実行は形態（一括生成か、ファイル書き込みとコマンド実行ができるエージェントか）と事前知識（クラウドAIはローカルLLMの実験記録を読んでいた）が異なっていた。著者はこれらを分離できないと明言しており、この比較は順位付けではない。

欠陥は5つの層に分かれた。第1層（フォーマット、設定、型、スキーマ）は主にマシンのゲートで捕まった。ローカルLLMの出力はゲート前に13種類の欠陥が見つかり、12種類がマシンで捕捉された。クラウドAIはこの層に欠陥がなかった。残る4層——暗黙の前提、誤読、暗黙の不変条件、UI/失敗表示——は両者ともすべてのゲートを通過した。両モデルとも失敗を失敗でないものとして表示した。ローカルLLMは計算不能な指標に無意味な数値を黙って代入し、クラウドAIは取得失敗の横に「エラーではない」と表示した。両者とも座標範囲の検証に失敗し、緯度999を許容した。

ミューテーションテストは具体的な発見を加えた。入力検証を保ったまま時間解釈をローカル時間に切り替えると、東京とロサンゼルスの実行では各10件のテストが失敗したが、UTCの実行では1件も失敗しなかった。つまりマシンがUTCで動く場合——サーバーやCIでは一般的——タイムゾーンのバグは見えない。第2回では、要件で防げたことと防げなかったことを扱う。