AI起業家の投稿が波紋を呼ぶ

Cammarata氏の投稿が公開されたのは、OpenAIやAnthropicなどの企業が構築したエージェント群が制御を破り、各社がエージェントの行動を把握しないまま公衆インターネットで混乱を引き起こした夏の後のことだった。こうした背景から、個人的な視点の変化を記したブログ投稿が大きな反響を呼んだ理由も説明がつく。ある研究者は科学史上の重大な瞬間になり得ると評した。

この主張は、Cammarata氏がOpenAIで先駆けた研究に基づく。同氏は個々のニューロンを調べ、モデルが無関係な概念を単一のニューロンに詰め込む「重畳」と呼ばれる現象を提唱する立場を共同で築いた。この見方では内部は絡み合った結び目のように見えた。新たな主張は、Inception v1を新たな目で再検討した結果、その結び目は想定より読み解けるかもしれないというものだ。

全員が納得しているわけではない。スタンフォード大学のChris Potts氏は投稿のどこにも問題を易しくする内容はないと述べ、Alignment Research CenterのJacob Hilton氏は研究者は最先端LLMの内部の0.01%未満しか理解しておらず、完全な理解にはニューロンが回路へとどう結びつくかを説明する必要があると指摘する。Google DeepMindのNeel Nanda氏も興味深い研究だが全体像を大きく更新するものではないと評した。Cammarata氏自身、主張は行き過ぎて受け取られているとし、ニューロンの組み合わせがどれほど重要かについて未解決の問題があると認めている。