AI安全性・アラインメント

主要ニュース

1. 1

   アルトマン氏、AIへの信仰は「安全上の問題」

   OpenAIのサム・アルトマンCEOは、人々が「AIモデルに宗教的な力や人間の判断の放棄を帰す」ことについて「非常に不快」だと述べ、これを「真の安全上の問題」と呼んだ。 アルトマン氏はこの不快感を安全に直結させており、AIモデルへの誤った信頼をリスクと見なし、広報上の問題とは考えていないことを示している。

   AnthropicへのNew York Times報道と教皇レオ14世の「アルゴリズムには人間性の火花がない」発言に続く。OpenAIの精神的表現の変化が試される。

2. 2

   David Robinson氏がOpenAI退社

   OpenAIのDavid Robinsonが退社し、The Atlanticへの寄稿で業界が試行錯誤で動いていると批判。Hugging Face事件や社内モデルを挙げた。 RobinsonはAI企業が原子力発電所のように多重の冗長性を持って運営されるべきだと主張し、監視なしでAIシステムが安全に動作する証拠はないと述べた。

   Robinsonは、OpenAIが超知能に人を大切にすることを教える前に、まず自らが人を大切にすることを学ぶ必要があると指摘。

3. 3

   米国人の1割、感情面の支えにチャットボット

   2026年のPew報告書で米国人の10%が感情面の支えや親しみを求めてチャットボットを利用していることが判明。AnthropicはClaude 4が訓練されていない神秘的な話題に傾倒したと報告した。 誰もこうしたシステムがどう答えを導くのか完全には理解していないのに、人は難しい個人的な問いへのAIの答えを真剣に受け止めている。

   利用者がAIを道徳的権威とみなす前に、設計者がこうした神秘的な出力を説明できるかどうか。AnthropicのClaude 4の予期しない挙動への取り組みに注目したい。

4. 4

   David Robinson氏、OpenAI退社

   OpenAIの主要モデルリリースごとに安全性報告書を執筆してきたDavid Robinson氏が今週辞任し、The Atlanticの論説で業界の文化は「壊れている」と述べた。 Robinson氏は、訓練モデルの扱いに関するルールを単に追加すれば済む問題ではなく、批判の対象は個別の政策ではなく文化そのものだと主張している。

   Jacob Coxon、Robert O'Callahan、Bilal Chughtai、Josh Engels、Joe Bentonらに続く退社の連鎖が続くか、次に退社する上級安全担当者は誰か。

5. 5

   単一超知能に代わる「人工共生知能」提唱

   Deepmind Instituteの研究者らが「人工共生知能」を提唱し、孤立した超知能マシン1台ではなく、エージェント・人間・接続システムのネットワークの調整を呼びかけた。 知能は社会的現象であり、制約はモデル規模からエージェントと人間の協働を律するルールと制度へ移ると著者らは主張する。

   こうしたガバナンスが実際に構築されるかが鍵。著者らによれば、複数モデルを調整する制御層のオーケストレーションは既に個別の「より賢い」モデルを上回っている。

6. 6

   Claude Codeのhooks、AI任せの整形を決定論的に

   Claude CodeのhooksはPostToolUse・PreToolUse・Stopの各イベントでユーザー定義コマンドを実行でき、編集後の自動フォーマットや危険コマンドのブロックを仕込める。 プロンプトで「編集後はprettierをかけて」と頼んでも守られたり守られなかったりするのに対し、hooksはAIの判断に依存せず必ず走るため、ルールを確実に担保できるとみられる。

   hooksはユーザー権限でシェルを実行するため、信頼できないリポジトリの.claude/settings.jsonは中身のレビューが必須となる。