何が起きたか
OpenAIは、複雑で判断力を要する計算生物学分析におけるAIエージェントの性能を評価する新ベンチマーク「GeneBench-Pro」を発表した。129問で構成され、10分野・21サブ分野をカバー。うち10問はHugging Faceで完全オープンソース化されている。
なぜ重要か
このテストは、曖昧さへの対応や仮説の修正といった、形式化が難しくAI性能の限界を左右する高度なスキルを測定する。最先端モデルでも正答率は3分の1未満(GPT-5.6 Solは28.7%、Proモードで31.5%)であり、改善の余地は大きい。
注目点
現在の進歩ペースなら、このベンチマークは年内に飽和する可能性がある。重要な焦点は、オープンソースモデルがこの種の科学的推論でGPTモデルとの差を縮められるかだ。現時点ではコーディングよりも生物学でより大きな遅れを取っている。
こういう要約が、毎朝あなたのメールに届きます。
GeneBench-Proは、事実の想起や定型分析ではなく、科学におけるAIの「判断力」を測定しようとするOpenAIの試みだ。同社は、実際の研究は、データがどの疑問を支持できるか、初期計画をいつ修正するか、結果が意思決定に使える状態かといった選択に依存すると主張する。これらのスキルは形式化が難しく、これまで適切に評価されてこなかった。
このベンチマークの設計は、曖昧な解法や過敏な採点に悩まされることが多かった初期の生物学ベンチマークから得た教訓を反映している。GeneBench-Proの問題は合成データであり、OpenAIは因果構造を把握し、回答を決定論的に採点できる。また、129問のうち82問は教授や産業界の科学者を含む外部専門家に送り、現実性と妥当性を確認している。
結果を見ると、GPT-5.6 Solは最高難易度の問題の28.7%を正解した。これは元のGeneBench作成時におけるGPT-5の5%未満からの大幅な向上だ。オープンソースモデルとの差は、コーディングベンチマークから予測されるよりも大きく、これらのモデルが広範な推論よりもコーディングに特化していることを示唆している。それでも、最先端モデルは大半の問題で不合格であり、観察を文脈に統合するのに苦労する専門家と初心者の違いを反映している。
将来のモデルがこの種の分析を確実に処理できるようになれば、経済的影響は大きい。人間の専門家は問題あたり20〜40時間を要し、時給は約200ドルだが、AIの推論コストはわずか数ドルだ。仮説の選別やターゲットの追跡調査といった分野では、部分的な自動化だけでも価値を生み出せる。短期的な焦点は、モデルの改良が年末までにベンチマークを飽和させるか、画期的な進歩がスコアをさらに押し上げるかだ。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る
次の記事へAWS、AI導入を支援する新組織に10億ドル投資