OpenAI、COBOL移行で正解率86.6%の新モデル

OpenAIの発表は、学習リソースの乏しいプログラミング言語をモデルがどれだけ扱えるかを測るため同社が構築した2つのベンチマークが中心だ。1つ目のMultiLangBenchは、20言語でSQLite互換のデータベースエンジンをゼロから構築する課題で、GPT-6.1 Solは平均テスト合格率87.4%に達し、GPT-5.6 Solの26.8%から向上した。COBOLはなお最難関で72.1%（従来は10.9%）だった。

2つ目のCOBOL移行評価は、既存のCOBOLプログラムの挙動を保ったまま別言語へ書き換えられるかを試す。OpenAIによれば、COBOLはオンラインバンキングシステムの40%超、ATM取引の95%で使われているため、同社は厳格な基準を設けた。非公開テストで全出力がバイト単位で一致した場合にのみ移行成功と判定する。結果は、低推論時のGPT-5.6 Solの正解率5.4%からGPT-6.1 Solの86.6%へと急上昇し、推論を高めると97.9%とベンチマークの上限に近づいた。

OpenAIはコスト面にも触れ、GPT-6.1 SolのAPIコストはGPT-5.6 Solの61%だとしている。それでも同社は、AIが移行したコードの本番利用には専門家によるレビューと、業務ルールや依存関係に対するテストが依然必要だと注意を促しており、このツールは人による検証の代替ではなく加速装置として位置づけられている。