GPT-6-Astra、理論物理50問中49問正解

ベンチマークのTheoPhysEvalは、著者らが「turn-the-crank」型の問題、つまり既知の手法を少し変えた問いに適用する定型作業を中心に設計された。多くは寄稿者自身の最近の論文の計算で数値を変えて作られたため、新しい答えを古い答えから推測することはできない。研究者らによれば、こうした問題は研究への第一歩として博士課程の学生に渡されることが多く、ブラックホール研究のある例では、コーディネーターのSuvrat Raju氏が解くのに約1日かかり、他の専門家なら数日を要したという。

問題は流体の流れや生物学的過程から素粒子物理学、宇宙論まで、理論物理学の11のサブフィールドにまたがる。各エージェントはウェブ検索ありと隔離環境の2回テストを実施。インターネットアクセスの差は驚くほど小さく、ウェブ検索なしでもAstraとOpusはそれぞれ92%を記録した。著者らはこれを、主要な言語モデルが理論物理学の文献の大部分を事実上記憶している証拠とみる。

AIの誤りのように見えたもののいくつかは、専門家の参照解の欠陥だった。それが修正されると、Astraの答えは毎回正しかった。このパターンは、著者らが自らの問題を平均的により難しく考えているにもかかわらず、エージェントがTheoPhysEvalでCritPtなど他の物理ベンチマークより良い成績を出す理由も説明しうる。最近の研究では、一部の理論物理ベンチマークは採点が誤っており、モデルの能力を大きく過小評価する場合があることが分かっている。