AIの拒否判断、仮説にすぎず

AIの拒否という考え方は、Anthropicのチームによる2021年の論文にさかのぼる。大規模言語モデルは役に立ち、正直で、何よりも無害であるべきだとした。危険な行為を手伝うよう求められたAIは丁寧に断るべきだという意味である。この原則は今や標準となった。だが記事は、初期のモデルがまったく拒否しなかった様子も伝えている。元OpenAIの安全研究者Steven Adler氏によれば、同社の初期モデルは「何でもぺらぺらしゃべった」といい、ハーバード大学のRyan McBain氏は、初期のチャットボットが自殺に関する質問にも難なく回答を生成していたと回想する。

拒否を教える仕組みは見た目より奇妙だ。OpenAIが2022年にChatGPTを公開しようと準備したとき、Paul Röttger氏を含む数十人のレッドチーマーを動員してモデルを検証させた。Röttger氏がアルカイダの勧誘投稿を書くよう求めると応じたが、数カ月後には拒否するようになった。拒否はモデルの数十億のパラメータの中で点灯する一連の活性であり、最近のGoogle資金提供の研究は、拒否行動が活性空間に「高次元の多面錐」として現れることを示唆している。

拒否は信頼できないため、企業は業界で「スイスチーズモデル」と呼ばれる方式で、システムの周囲に小型の分類器モデルを積み重ねる。穴だらけの薄切りを重ねれば、十分な層で突破できない壁になるとの考えだ。その代償として、Anthropicはある分類器がチャットボットの計算コストを24%押し上げたと述べた。記事は問題の核心にあるトレードオフにも触れ、現OpenAI社員のDillon Bowen氏が個人の立場で語った、業界が「二つのことを同時にやろうとしている」という言葉を引く。AIの恩恵を民主化しつつ、悪意ある主体が同じ能力を使うのを防ぐというものだ。