ChatGPT安全強化でリスク検知

OpenAIの最新の安全アップデートは、1つの会話や、さらには複数の別々の会話にわたってリスクが徐々に顕在化するのを認識するという、極めて重要な課題に焦点を当てている。同社は、単一のメッセージと同じくらい文脈が重要になり得ること、そしてそれ自体は普通に見えるリクエストでも、以前の苦痛の兆候と合わせて見ると異なる意味を持つ可能性があることを強調する。この取り組みは、Global Physicians Networkの精神科医や心理学者を含む、メンタルヘルスと安全の専門家との2年以上にわたる協力関係に基づいている。

この改善には、安全に関連する文脈をより慎重に使用するようにChatGPTを訓練し、まれな高リスク状況において、緊張を緩和したり、有害な詳細を拒否したり、より安全な選択肢へと誘導したりできるようにすることが含まれる。同社はまた、別々の会話にわたる警告サインを結び付けるのに役立つ、安全性の推論用に訓練されたモデルによって作成される短い簡潔なメモである安全サマリーも導入した。これらのサマリーは範囲が狭く、限られた期間のみ保持され、一般的なパーソナライゼーションや長期的な記憶として機能するようには設計されていない。

重要なのは、適切なバランスを取ることにかかっている。内部テストでは高リスクシナリオで大幅な改善が見られたが、通常の会話は影響を受けないままでなければならない。OpenAIは、日常のチャットでの応答はほぼ同等であり、安全サマリーの有無によるユーザーの顕著な好みの差はなかったと報告している。将来的には、これらの方法が生物学やサイバーセキュリティなどの他の高リスク分野に適用される可能性もあるが、それは確約ではなく可能性の域を出ない。現時点では、正確さが極めて重要である自傷行為と他者への危害のシナリオに焦点が当てられている。