AI解釈、通説再解釈で研究者が分裂

この議論の焦点は、この分野が最も初期の証拠をどう読むかにある。猫・車ニューロンと「Zoom In」の重ね合わせ回路は標準的な教材例となり、見かけ上の乱雑さを整理するスパースオートエンコーダーの訓練をめぐる小さな産業が生まれた。クリス・オラ―氏とともに「Zoom In」を執筆したカマラータ氏は今、InceptionV1の後半層の乱雑さはネットワークの根本的性質ではなく、時代遅れのアーキテクチャと弱い分析ツールから生じたものだと述べている。より良いツールを使えば同じニューロンが整然と見えると同氏は主張する。

同氏が再帰的一般化と呼ぶ代替説明では、ニューロンは枝が側枝を出すように成長する。つまり「iy」検出器が「diy」に、そして「do it yourself」に拡張する。これは、ネットワークが場所を使い果たしたために無関係な概念を同じニューロンに任意に詰め込むという重ね合わせとは別の話だ。Qwen3-32Bについて同氏が示す数字は、未解明のニューロン極がわずか2〜4%というもので、これまでで最も強い形の主張であり、Goodfireははるかに大きな規模でも同様の結果が見られると述べている。

カマラータ氏とナンダ氏が実際に意見を異にする点は、公の対立が示すより狭いかもしれない。両者とも、モデルが次元数より多くの概念を表現し得ることは認めている。カマラータ氏が異議を唱えるのは、無関係な概念が任意に詰め込まれているという点だけだ。ナンダ氏のチームはこの論考の前からスパースオートエンコーダーの優先度を下げており、同氏はニューロン分析を有用だが欠陥があると位置づけている。まだ公開されていない技術的な併論が、9割という数字が持ちこたえるかを決めるだろう。解釈可能性の企業であるGoodfireには、その答えに明らかな利害がある。