OpenAIがMentalHealthBench公開

MentalHealthBenchは、OpenAIが以前に臨床医の知見を得て取り組んだHealthBenchとHealthBench Professionalの成果を土台としている。会話は実世界の利用パターンを反映するようプライバシー保護技術を用いて作成され、一部のシナリオには家族の最近の死別といった背景情報が含まれ、モデルが文脈を適切に活用するかを試せるようにしている。各会話は少なくとも3人の専門家が確認し、基準は少なくとも2人が同意し3人目が否定しなかった場合にのみ採用された。したがってルーブリックは個人の意見ではなく専門家の共通判断を反映している。

ベンチマークは非急性・高急性・緊急のシナリオにわたり、成人、13〜17歳のティーン、介護者、臨床医を対象とする。OpenAIは別途、メンタルヘルスや感情支援にAIを使った16カ国の成人44人による分析も実施し、彼らの基準と専門家の指針を比較した。この分析はベンチマークの最終的な採点基準を変更しておらず、基準は専門家の合意に基づいたままである。

成否は、他の研究者や開発者がこのオープンベンチマークを使って課題を特定するかどうかにかかっている。OpenAIはこれを、助成金、Partnership on AIとの専門家招集、Transluceのメンタルヘルス評価への支援、危機対応リソースの拡充やTrusted Contact、ChatGPT for TeensといったChatGPTの変更と並ぶ広範な取り組みの一部と位置づける。単一のベンチマークがモデルの微妙な個人的会話への対応を変えられるかは、コミュニティがどれだけ広く採用するかにかかりそうだ。