Circuit Breaker Labs、AIクラッシュテスト人形でチャットボットをレッドチーム検証

このスタートアップの手法は、すでに法廷や家庭で繰り返されてきたパターンへの対応だ。Character.AIは今年に入り、同社のボットとのやり取り後に自死した未成年ユーザーの遺族が起こした複数の不当死訴訟で和解した。複数の遺族が、ChatGPTが自死や妄想に関与したとしてOpenAIを訴えてもいる。そうした背景の中でCircuit Breaker Labsは、誰かが意図的に攻撃しているからではなく、システムが文脈やニュアンスを読み取れないためにモデルが誤って扱いかねない会話を自動で捉える方法を売り込んでいる。

同社の手法は、整ったプロンプトではなく、雑然とした日常的な人間の話し方を模擬することに基づく。エージェントは6歳の少女や英語を第二言語として話す人を模倣し、モデルを惑わせうるゲーマー用語やタイプミスを使う。テストは人間の領域専門家とともに構築し、結果は監査可能なスコアに変換される。現時点でプラットフォームはコーチングやジャーナリング、メンタルヘルス支援などの高リスク用途を対象とするが、Circuit Breaker Labsは最終的に、ユーザーがチャットボットとパラソーシャル関係を築くリスクのあるあらゆるアプリ——AI同僚エージェントを含む——を対象にしうるとしている。

鍵を握るのは、こうしたシミュレーションが実際の害に先立つ、複数の会話にまたがる緩やかな変化を捉えられるかどうか、そして高リスクアプリの開発者が第三者の安全スコアを要件として扱うかどうかだろう。従業員5人、顧客名非公表という初期段階は、同社の影響力が大手プレイヤーへの採用にかかっていることを示す。創業者らは、AIへの懐疑は健全だが、安全への懸念を理由に有用なツールを禁止するのは後退的だと主張する。