LLMの計算資源頼みに苦言、AI研究は終わらず

サットンの2019年の原エッセイは、計算資源とともにスケールする汎用的な手法が、最終的には人間の想定に基づいて構築されたアプローチを上回ると論じた。今回の最新投稿はその論理を今日の大規模言語モデルに拡張したもので、彼によればこれらのモデルはトレーニング後も学習を続けない。彼は以前、合成データを「大きな間違い」と呼んだ。現実世界は無限に複雑で、あらゆるシミュレーションは「顕微鏡的」なものにすぎないからだ。代わりに彼は、古い知識を破壊することなく自らの経験から継続的に学習する世界モデルを持つエージェントを提唱している。

新たなアプローチを探るためOpenAIを離れたジェリー・トゥオレクは、この議論を文脈に位置づける。苦い教訓は依然として成り立つが、トレーニングに投入される計算資源が増えるほどアルゴリズムが重要になる、というのだ。彼は、スケールするアルゴリズムもあれば行き詰まるアルゴリズムもあると警告し、トランスフォーマーのスケーリングの一時的な成功が苦い教訓の誤読と相まって「一世代の科学者の脳を報酬ハッキングしてきた」と述べる。ジェイデン・テオは、苦い教訓が有望なアイデアを退けることで学術研究を妨げてきたことがあり、アイデアが重要の貢献となるために永遠にスケーリングに耐える必要はないと主張する。

この不一致は業界の指導者にも表れている。サム・アルトマンはLLMのスケーリングはまだ尽きていないと考え、批判者が研究者の足を引っ張っていると非難し、最近長年の数学的予想を反証したOpenAIのモデルを挙げる。ダリオ・アモデイも同様に、スケーリングの進歩を終わりのない虹と呼ぶ。技術的アプローチをスケーリングに依拠する企業のCEOとして、両者はいずれも明らかにスケーリングに有利なバイアスを持っている。