GPT-6 Astra、Zstd実装で99%超正答

GPT-5.6 Solによる当初のZstd評価では、TDDやQuickCheckといった特定のテスト手法をエージェントに使わせるとしばしば結果が悪化し、手法を指定しない場合は無価値な単体テストが多く生まれるものの成績は上位に入ることが示された。GPT-6 Astraで再実行すると状況は二点で変わった。能力がベンチマークを飽和させるほど高まり、エージェントがテストと検証の手法をより効果的に使うようになったのだ。ファジングでは、5.6 Solは同じコードパスに当たる無価値なランダム入力を大量に生成したが、6 Astraはコードパスを実行して自明でないバグを発見する構造化ファジングを生み出した。ただしZstdベンチマークは易しすぎて、それが正答率の改善につながったかは示せない。著者は5.6 Solには難しすぎたIMAP RFCも試し、6 Astraではデフォルト条件が再びかなり良く見え、一部の条件ではより高いコストでやや良い正答率が得られることを見いだした。Pandoc評価は各条件を約$90k MSRPで25回しか実行していないため、著者は結果には概念上の誤差幅が大きく、過度に解釈すべきでないと注意を促している。それでも幾つかの観察が際立った。差分テストはエージェントに境界条件を調べさせ、両側を正しく実装するテストを書かせた。TDDは再び低調だった。ACL2は好成績を収めた。プロパティベーステストのライブラリはついに期待通りのテストを生み出した。著者はこれらの知見を、AIが書いた単体テストは経験的に無益と証明されたという拡散した主張と対比し、その主張はより小規模な問題での9%のコスト削減に基づくもので、DeepSWEの採点者はテスト追加に実世界の利用を代表しない形でペナルティを与えていると指摘する。