Ouroから7.7Tトークンまで、Looped Transformer解説

このレビューの著者は、Looped Transformerを「Transformerを同じ層に数回通すだけ」と分類してそこで止まっていたと自認している。論文を追えば、その説明では終わらないと著者は論じる。2018年のUniversal Transformersはすでに自己注意を深さ方向に再帰的に適用し、トークンごとに計算を停止するAdaptive Computation Timeを加えていた。現在のアイデアの初期版である。変わったのは枠組みだ。Giannou et al.はループをモデルを縮める手段ではなくアルゴリズムを実行する装置として扱い、Yang et al.は通常の学習で反復アルゴリズムの挙動が再現されるかを検証した。レビューは、その後の研究で追加された入力注入の工夫にも触れる。各ループで元の入力を再び加算し、初期の情報が隠れ状態に埋もれないようにするものだ。

その後の論文は規模と適応性を押し進める。800Bトークンで事前学習した3.5Bパラメータのモデルは、推論時に追加のループを回すと数学とコーディングで改善を示し、Ouroはこの手法を1.4Bと2.6Bパラメータ、最大7.7Tトークンへと引き継ぎ、難しい入力ほど多くの深さを消費する適応的計算を追求した。

レビュー自身が抱く未解決の問いは、これが本当に思考なのかという点だ。ループごとに変化する隠れ状態は、あるループが抽出し、別が推論し、また別が検証している証拠にはならない。各ループが何を更新するのか、ループ回数が問題の難易度を反映するのか、モデルが学習時のループ回数を超えて外挿できるのかが明らかになるまでは、結果は停止判断を安定的に学習できるかどうかにかかり得る。アーキテクチャを比較する購入者にとっては、パラメータ削減が実際の推論コストに耐えるかどうかにかかっている。