OpenAIが生命科学研究向けAI評価基盤「LifeSciBench」公開

LifeSciBenchは、AIシステムを孤立したスキルではなく、科学者が実際に行う複雑で反復的なワークフローで評価する必要性の高まりから生まれた。作成者らは現役の生命科学者に調査を行い、7つの反復的なワークフローカテゴリーを定義。その後、173人の専門家が、文脈や成果物、自由形式の応答を含む実際の依頼を模したタスクを作成した。領域の査読者間で少なくとも90%の一致を要求する厳格な審査プロセスにより、各タスクは検証可能な回答または強い専門家のコンセンサスに基づいている。

このベンチマークの設計は、科学的研究がどのように評価されるかを反映している。19,020の基準からなる詳細なルーブリックは部分点を与え、回答がタスクを完全に解決しなくても部分的に正しい、または有用である可能性を認める。この粒度により、フロンティアモデルはコミュニケーションと翻訳に強みを示す一方、厳密な出力や成果物（アーティファクト）を多用するタスクでは遅れをとるという、より微妙な状況が明らかになる。約14%のタスクでは、モデルが合格基準に達しないものの実質的な得点を獲得しており、進歩は実在するものの未完成であることを示唆している。

重要なのは、ベンチマークでの向上が実際の研究への影響に結びつくかどうかだ。OpenAI自身も、LifeSciBenchはライブ環境でモデルを研究する代わりにはならないと指摘する。次のステップ—これらの結果を導入研究に結びつけること—が、これらの測定可能な能力が発見を加速させるか、あるいは実際の研究開発の成果を改善するかを決定するだろう。