OpenAIがChatGPTの暴力防止策を公表

OpenAIの投稿は、暴力とAIプラットフォームの役割をめぐる社会的懸念が続く中で発表された。同社は、人々が現実の攻撃に関する感情をChatGPTに持ち込む可能性があることを認識し、無害な質問と実行可能な脅威の線引きを目指している。本文は、これには一度きりの修正ではなく継続的な改善が必要だと強調している。

この投稿では、多層的なシステムが説明されている。有害な要求を拒否するモデル訓練、規模拡大のための自動検出、ニュアンスを捉える人のレビュー、高リスク事例のエスカレーションである。また、文脈の難しさも強調されている。単発のメッセージは無害に見えても、長い会話全体のパターンがリスクを示すことがある。OpenAIは心理学者や法執行の専門家などの助言を得てこれらのシステムを強化しているという。

重要になるのは、同社が認める通り、安全性とプライバシー・市民的自由のバランスを取れるかどうかだ。今後の緊急連絡先機能と拡大された保護者向け管理機能は、行き過ぎずに他者を関与させられる範囲を試すものとなる。同社は今後数週間でさらに情報を共有すると述べており、そのアプローチの有効性は未知数だ。安全擁護派と市民的自由擁護派の双方から厳しく注視されるだろう。