Sonnet 5.5は収集と実装を担えるがレビューは苦手

Zennの記事はベンダーのベンチマークではなく、実践者による比較実行の報告だ。筆者は過去のレビューコメントやインシデントから既知の答えがある6つのテストケースを作り、claude -pでヘッドレス実行し、匿名化後に2つの別モデルに出力を採点させた。

記事の実務的な要点は、effortとモデル選択をタスクのリスクで切り分けるべきだということだ。筆者はこれを3つのつまみ、すなわちモデル、effort、そして主張を実際に情報源と突き合わせて検証させるプロンプトレベルの別指示に対応づける。誤りがユーザーの判断や成果物に直接影響するタスクにはOpusのhigh以上のeffort、収集、集約、探索、計画後の実装にはSonnetのmediumを充てる。デフォルトのeffort値はモデルごとに異なり、Opus 5.5とSonnet 5.5はmedium、多くはhighなので、設定をそのままにすると重い作業が気づかぬうちに浅く実行され得る。

筆者は限界も指摘する。テストがリグレッションを捕捉できるか、再利用した古いブランチが後の修正を巻き戻すか、並列リクエスト制限が守られるかなど、一部のレビュー観点は、試験したすべてのモデルと検証指示が見落とした。これらのチェックポイントを手順やエージェント定義に手動で追加する方が、モデルを切り替えるより効果的な場合がある。