OpenAIの証明、手法に不一致

OpenAIのナビエ・ストークスへの取り組みには、異例なほど大掛かりな仕組みが伴った。約1万のモデルインスタンスをおよそ88時間、1300億トークンにわたって動かしたのだ。しかしOpenAI研究者のノーム・ブラウンによれば、その巨大なエージェント群が何に寄与したのかは実際には誰も分かっていない。その規模での挙動は研究されておらず、数千のエージェントで体系的な比較テストを回すのはコストがかかりすぎるからだ。ブラウン自身、成功のうちマルチエージェント構成によるものは10パーセント未満だとし、こうしたシステムは新しく派手で不相応に評価されやすいと述べる。本当に重要なのは、基盤モデルが長期にわたりタスクをやり抜き、並列で動く能力だという。

由来をめぐる問題は別だが関連している。公表前、NYUの数学者トリスタン・バックマスターは、OpenAIが自分とAnthropicのレヴェント・アルプーゲが公開モデルで行った研究の上に築いたと非難し、OpenAIはこれを否定した。高等研究院のカミッロ・デ・レッリスは、決定的な答えを出すのはおそらく不可能だと話す。言語モデルはブラックボックスであり、その同じ不透明さが証明の着想がどこから来たのかを言いにくくしている。

一方で、出力の量がこの分野に負荷をかけている。10月上旬、OpenAIはさらに約400件の結果を緩い集合としてGitHubで公開し、多くの数学者が分野を安っぽくするとして反発した。クレイ数学研究所は公表以来、元の証明を査読してきたが、手法をめぐる論争は、査読が証明の正しさだけでなく、それが実際に何なのかをも決着させねばならないことを示している。