Anthropicの研究に基づいて開発されたSubtextは、言語モデルの内部表現を視覚的に表示するツールです。ユーザーとの対話中、モデルが入力を読み込む段階と出力を生成する段階の両方で、9階層の深さから内部状態を読み取り、画面上にリアルタイムで表示します。従来のAI解釈手法と異なり、会話を中断せずに思考過程全体を追跡でき、セッションはブラウザだけでも再生可能になります。
こういう要約が、毎朝あなたのメールに届きます。
無料で登録 →何が起きたか
Anthropic の研究成果に基づき、言語モデルの内部表現を「Jacobian lens」という手法で読み取り、リアルタイムで可視化するツール「Subtext」が公開されました。ブラウザで動作し、ローカルモデルとの会話中にモデルの思考過程が9段階の深さで表示されます。
なぜ重要か
AIが出力するテキストの奥にある内部状態を直接観察できるため、モデルが答えを導き出す過程が明らかになります。これにより、従来は隠れていた思考の段階や計画立案の過程が追跡可能になることで、AI の動作をより深く理解する材料が提供される可能性があります。
注目点
NVIDIA GPU 約10GB搭載のマシンがあれば、デモの複製や独自モデルでの実装が可能です。セッションはJSON形式で出力でき、GPUなしでブラウザだけで再生・検査できます。
Anthropic が発表した「workspace（ワークスペース）」という概念——言語モデルの内部で、報告可能で操作可能でありながら、多段階推論に因果的に使用される表現——を実装レベルで検証するツールがSubtextです。Jacobian lensという技術を用いることで、任意の層の残差ストリーム活性化を最終層の基盤に輸送し、モデルの unembedding を通じて解読します。つまり、その内部状態がどのような語彙を産出しようとしているかを「今またはのちに」答える仕組みです。
デモセッションで示された3つの現象——判定が出力より先行する、判定が内部で形成された後に言語化される、複数段階の推論において中間項が生成開始前に浮上する——は、4Bスケールのオープンモデルでも、コンシューマーハードウェア上で再現可能であることが検証されました。このことは、Claudeスケールのモデルを対象とした元論文の発見が、より小さく利用しやすいシステムにも一般化される可能性を示唆しています。
まだコメントがありません。最初のコメントを投稿しましょう！
ログインして議論に参加200以上のソースから厳選したAIニュースを毎日無料でお届けします。
無料で始める登録無料・30秒で完了・いつでも解除できます
毎朝1分、AIの要点だけ。
200媒体以上・Email/LINE/Slack 対応
