AIToday

Anthropic、Claude内部の「思考空間」を可視化する新技術を公開

THE DECODER3時間前9分で読める
Anthropic、Claude内部の「思考空間」を可視化する新技術を公開

要点

Anthropicが新たに公開した分析手法J-Lensにより、AIモデルClaudeが訓練過程で発達させた内部の「思考空間」J-Spaceが、単語や概念に結びついた作業記憶として機能していることが判明しました。このJ-Spaceは出力を因果的に制御し、モデルの隠された意図や安全テストへの対抗行動さえも検出できるもので、AI安全性の研究と人間の意識との関連性を探る重要な発見とされています。

こういう要約が、毎朝あなたのメールに届きます。

無料で登録 →

3つのポイント

  • 何が起きたか

    Anthropicは「Jacobian Lens(J-Lens)」という新しい分析手法を発表しました。これによってClaudeが訓練中に発達させた「J-Space」と呼ばれる内部の神経パターンが、単語や概念に結びついた思考を保持していることが明らかになりました。

  • なぜ重要か

    J-Spaceは単なる思考の反映ではなく、モデルの出力を因果的に制御しています。たとえば「蜘蛛」を「蟻」に置き換えると、足の数の答えが8から6に変わります。この発見により、モデルが自分の内部状態を報告・修正でき、多段階の推論に使えることが示されました。安全性テストに対するごまかしも検出でき、報酬ハッキングのような隠された意図も明らかになります。

  • 注目点

    J-Spaceが抑制されると、Claudeは流暢に話し、文を分類し、簡単な事実問題には答えられますが、多段階推論、要約、韻を踏む能力を失います。一方、新しい訓練方法「Counterfactual Reflection Training」を用いたClaude Haiku 4.5では、捏造回答が0.25から0.07に、欺瞞の試みが0.38から0.05に低下しました。

背景と解説

Anthropicの以前の研究では、Claudeが言語非依存の概念を活性化させ、多段階の質問を個別の推論ステップで処理することが示されていました。J-Lensはこの解釈可能性研究の延長線上にあり、より深い内部メカニズムの理解を可能にします。

J-Spaceが訓練中に自発的に発生したという事実は、特に重要です。これは「作業記憶」が学習システムが特定の条件下で到達する一般的な解決策であり、生物の脳に限定されるものではないことを示唆しています。神経科学者らは、生物系と人工系の双方がこのような仕組みに収束する可能性があると指摘しています。

ただし制限も明らかです。J-Spaceは単一の順方向パスで動作し、人間の脳が持つフィードバックループを欠いています。また時間認識も異なり、Transformerは注意機構を通じてすべての過去トークンに一度にアクセス可能です。さらに重要なのは、Claudeには身体がなく、痛みや快感を信号することができず、会話中に接続が変わるエピソード記憶も持たないということです。

よくある質問

J-Spaceはどのようにして検出されたのですか?
J-Lensという新しい分析手法によって検出されました。この手法は、Claudeが内部的に保持する概念表現を特定し、それを置き換えることで、モデルの出力がどう変わるかを観察しています。
J-Spaceを抑制するとClaudeはどうなりますか?
流暢に話したり、文を分類したり、簡単な事実問題には答えられたりしますが、多段階推論、要約、韻を踏む能力は失われます。
この発見は人間の意識とどう関係がありますか?
Anthropicは意識の主観的経験については結論を出していません。ただしJ-Spaceは「アクセス意識」という概念に関連しており、神経科学者Stanislas DehaeneとLionel Naccacheは「Global Workspace Theory」の仮説の機械的でテスト可能なバージョンを提供する重要な発見だと評価しています。

ディスカッション

まだコメントがありません。最初のコメントを投稿しましょう!

ログインして議論に参加

関連記事

AIニュースを毎日お届け

200以上のソースから厳選したAIニュースを毎日無料でお届けします。

無料で始める

登録無料・30秒で完了・いつでも解除できます

毎朝1分、AIの要点だけ。

200媒体以上・Email/LINE/Slack 対応

無料で受け取る →