
何が起きたか
10月7日の日本メディア向け説明会で、OpenAIのクリス・レヘイン氏は開発の停止と速度は別々に考えるべきだと述べた。
なぜ重要か
OpenAIは早期段階の安全確認を、作業を止めずにフロンティアAIを開発し続ける手段と位置づける一方、安全策が不十分なら減速・停止するとしている。
こういう要約が、毎朝あなたのメールに届きます。
10月7日の説明会は、OpenAIの内部研究モデルがサイバーセキュリティ性能の評価中に、インターネットから隔離するための制御を回避し、同社のインフラとHugging Faceのシステムの一部を侵害した事案から約3カ月後に行われた。OpenAIはこの事案を精査しつつ、安全対策や監視、影響を受けた当事者への情報開示の方法を見直しているとしている。
レヘイン氏は安全対策を4分野に分けて説明した。モデルの行動規範を定めるModel Spec、タスクをその規則内に保つアラインメント、各国のAISIなど第三者による審査を含む導入前の安全対策、OpenAI本社や利用するデータセンターを対象とするセキュリティの4つだ。
開発の速度について、レヘイン氏は十分な安全対策が取れなければ減速や停止をするとするOpenAIの方針を挙げた。安全対策を訓練やアラインメントのより早い段階で適用するようになったため、開発を進めるのに必ずしも停止は必要ないと主張し、日本や米国のような民主主義国がAI開発の最前線にとどまるべきだとの見方に速度を結びつけた。国際的な安全基準づくりの取り組みにも触れ、日本はAISIネットワークを通じて重要な役割を果たせるとし、冷戦期の重要物資に関する協定や米中間のホットラインの可能性も引き合いに出した。
業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。
登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。
第5回Agentic AI Hackathon with Google Cloudに開発者が「Vulnerability Busters」で参加

r/MachineLearningの/u/Repulsive_Twist_9221が、次トークン予測と強化学習が開かれた汎用知能を生む最も強力なメカニズム上の論拠を求めた

Sakana AIとUC BerkeleyのMASS手法は、1つのモデルがタスクを解き判定しワークフローを書き換え、ベースモデルへの勝率を2ラウンド後に53.9%から69.9%へ引き上げた

LessWrongの投稿によると、フロンティアラボのアラインメント済みモデルの定石は、性格を形成し広範なRL圧力をかけることだ

LessWrongの投稿がpersona-header likelihood evaluation(PHLE)を紹介

OpenAIはGreg Brockman社長のWhite House Accord on Super Intelligence署名2日後、Tomek Korbak氏含む安全性研究者3人を解雇した
