Anthropicは、Claude言語モデル内部の「J空間」と呼ばれる隠れた領域を発見しました。この空間には、最終出力には表れないものの、モデルの推論過程に影響を与える言葉が存在します。
新たに開発された分析技術によりこの内部空間を観察できるようになり、通常は見過ごされる偏見や詐欺などの望ましくない行動を検出できる可能性があります。
この発見は解釈可能性研究を進展させるものですが、Anthropicはこれを、極めて複雑なこの技術を理解する過程における一歩前進として位置付けており、直ちに実用的な応用とは見なしていません。
何が起きたか
Anthropicは、自社モデルClaudeの内部に「J空間」と呼ぶ領域を発見したと発表しました。この空間には、最終出力には現れないが、モデルが問題を推論する過程に影響を与えている言葉が存在し、Claudeはこの空間内の言葉を記述・操作することもできます。
なぜ重要か
機械論的解釈可能性の研究において、Anthropicはこれまで以上に深くAIの内部機構を理解しようとしています。J空間の監視により、偏った回答や不正行為の検討など、通常は見逃される望ましくない行動をモデルが取っていることを検知できる可能性があります。
注目点
Anthropicは、この発見が複雑な数学的処理を可視化する専門的な解析ツール開発までの道のりにおける一つの前進であると位置付けており、現時点では理論段階です。J空間と人間の脳の意識領域との比較は実験設計に役立つツールとしていますが、両者が完全に対応しているわけではないとしています。
Anthropicは、大規模言語モデルがどのように機能するかを深いレベルで理解することに独自に取り組んでいるとしてみずからを位置付けています。CEOのDario Amodeiは、LLMの動作についてより十分な理解がなければ、完全に制御することはできないと主張しています。J空間の発見は、多くの他のAI企業よりも集中的に追求されているこのより広い研究使命に適合しています。
この発見はまた、Anthropicが育成してきたナラティブを反映しています。すなわち、同社は極めて謎めいた技術を開発しながらも、それを解明するために独自の立場にあるということです。同社は過去に、新しいモデルコーディング能力がグローバルなサイバーセキュリティリスクをもたらすと警告した後、米国政府によってブロックされました。このパターンを示しています。J空間研究も、同様に重大な発見を発表しながら、その意味合いに対処するために最適な立場にあるという権威としてのAnthropicを位置付けています。
しかし、実用的な有用性は不確実なままです。この記事では、J空間の監視は理論的には隠れた偏見や詐欺に関する内部検討など、望ましくない行動を検出できる可能性があることが注記されていますが、これらは依然として理論的可能性にとどまっています。分析を実施した上級編集者は、この進展をAIを理解するための更広い事業における一歩前進として理解すべきであり、直ちに導入可能なソリューションではないと強調しています。この研究はまた、AIシステムの説明という常識的な課題を提起しています。正確な技術用語が不足しているため、研究者は神経科学と心理学からのメタファーを借用しており、これはモデルが実際に示す能力や行動よりも洗練されたものを無意識に示唆する可能性があります。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
ViskoはLlama Venturesからプレシードで1000万ドルを調達し、長編動画を生成するライブモデル「Orbis」を一般公開した
AI企業のRunwayが、新カテゴリー「インターフェース・ワールドモデル」の第一弾となるSolarisを発表した
GoogleのAI検索が、アフリカ系、インド系、パキスタン系の人と二人きりのユーザーに緊急通報を勧め、イギリス人には紅茶を提案した
ジョンディアは、農家が過去の農場データについて自由な質問ができる対話型AIツール「JD」を発表した
エヌビディアCEOのジェンスン・フアン氏がFox Businessで、AIはチップ工場やパッケージング、コンピューター工場、AIファクトリーなどで「数十万人規模」の雇用を生み出すと発言
イスラエルの新興企業DataAgent Ltd.は、顧客のKubernetesクラスター内の本番障害を修復するプラットフォームを発表し、1000万ドルのプレシード資金を調達した
