Google、AIによるAI研究加速は測定不能と説明

Haydn Belfield氏の調査結果は、Google Deepmindが自動化を自社ワークフローにさらに深く押し込む中で出た。AIは現在、同ラボの本番コードの75％超を書いており、数年前には想像しにくい数字だ。しかし同じ社内データが限界も示す。コード変更の約88％は依然として人間の監督またはレビューが必要で、完全にAIに委任された変更の割合は7.5％から11.9％に増えたにすぎない。起草と委任のこの差が、Belfield氏がAI研究自体に測定可能な加速を見ない理由を説明する。このパターンはエージェントのデータにも表れる。1,389件の社内Argonエージェント実行では、タスクの複雑さが増すにつれ人間の入力なしでの成功率が下がった。Deepmindの上級研究者12人への調査もこれを裏付け、自動化は明確で検証可能な作業で最も強く、自由な科学的発想で最も弱い。74の現実的なMLエンジニアリングタスクを含む社内RE-Benchでは、Argonは約半数を解き、27％のGemini 3.7 Flashよりはるかに優れるが、完全自動化に必要な水準にはまだ遠い。印象に頼る代わりに、Belfield氏のチームは123モデルと92ベンチマークを対象とするGeneral Capability Indexを構築した。Geminiの能力は月約0.1 GCIポイントで成長しており、速度に有意な変化はない。Gemini 4 Argonはトレンドラインをわずかに上回るが、チームはこれをAIによる加速ではなく、より多くの計算資源と組織的投資によるものとしている。チームはAIによる研究自動化のリスクを今のところ低いと評価するが、加速の兆候を追跡する測定基盤を構築している。Belfield氏の見解は、Geoffrey Hinton氏、Yoshua Bengio氏、OpenAIのJakub Pachocki氏を含む20人以上のAI研究者による最近の論文と対照的だ。彼らは数年以内に「知能爆発」が起こる可能性を警告した。