Ai2：プロンプトでGPT-5.4の新規性判定が

Ai2の研究は、科学的発見の一部を自動化しようとする広範な流れの中に位置する。同ラボはすでに、構造化データ探索のDataVoyager、仮説の生成と検証を行うAutoDiscovery、証拠を候補理論に統合するTheorizer、そしてAstaを並行して運用している。これらのシステムはアイデアを提案できるが、そのアイデアが真に新しいかどうかの判断は通常、別のLLMに委ねられる。その新規性審査員のモデル、プロンプト、評価形式、推論の予算、検索の設定は、各チームが場当たり的に選んでいる。

ベンチマークの構築手法には、検証へのこうした懸念が反映されている。論文の採択を新規性の代理指標とするのではなく、Ai2はICLR 2026の査読から、査読者が独自性を明示的に称賛または異議を唱えた箇所を抽出した。分野内で上位10%に入り、査読者が新規性を肯定的に指摘し異議がない採択論文154本を高新規性プールとした。下位10%に入り、独自性への懸念があり肯定的な新規性の兆候がない不採択論文145本を低新規性プールとした。抽出したシグナルの極性について、注釈者の判断は50件中47件で一致した。

2つ目の設定では、人間の154のアイデアと、単純なLLM生成器が生んだ154のアイデアを対にした。ただし生成アイデアは新規性が低いと仮定した弱いラベルであり、検証済みの判断ではない点に留意が必要だ。こうした30組を、最強の審査員が誤った事例を多めに含めて専門家が確認したところ、30組すべてで人間のアイデアを好み、生成アイデアを新規と判断したものは皆無だった。Ai2は、主要な知見の多くはラベルに依存しないと指摘する。同じアイデアの組に対し、妥当な評価設定2つが相反する答えを出せば、その不一致自体が不安定さを示すからだ。