ジャック・クラーク氏

P-Zero Researchは特定の経済的論理に基づいてTasteValを設計した。AI研究では実験の計算資源が希少であるため、適切な実験を選び結果を正しく読むモデルは、同じスコアに達するのに必要な試行回数が少なくて済む。同研究所の「AI Futures Model」は、コーディングが自動化されれば実験の計算資源が最大のボトルネックになると予測しており、ベンチマークが研究のセンスを計算倍率に換算するのはそのためだ。最高成績のAnthropicのOpus 5.5は2.3で、統計的な幅は1.15から4.37と広く、下限ではモデルはほとんどリードしないことになる。1回の実行コストは、専門家が試みた場合の平均のおよそ30分の1だった。

人間の基準値は、OpenAI、Google DeepMind、Nvidia、Microsoft Researchで最近働いた24人の専門家によるもので、8つのタスクそれぞれに少なくとも2人が当たった。著者ら自身、結果は研究のセンスの向上速度を過大評価している可能性があると認めている。タスクは迅速かつ安価に検証でき、AIラボが最も最適化しやすい種類のタスクであるうえ、比較グループに一流研究者が含まれていないためだ。

Clark氏の予測をめぐる議論は、まさにこの能力に集中してきた。AI研究者のHerbie Bradley氏はClark氏の5月の論考への反論で、モデルがジュニア研究者の仕事を引き継ぐ可能性はあるものの、研究のセンスや創造性、長期計画はまったく見えていないと主張した。復旦大学の研究では、AIエージェントは自モデル開発における方法論の提案の最大55%を担ったが、最終判断の85%超は依然として人間が下した。また、AIが多様な研究の方向性を生み出し、結果が出る前にその価値を評価できるかは不明のままで、その判断をTasteValはモデルの手から外している。