AIToday
大規模言語モデルAI安全性・アラインメントZenn AI/ML掲載日時: 2026年10月30日 19:01

LLM出力段にHi-Z導入の設計論

LINEで送る
LLM出力段にHi-Z導入の設計論

3つのポイント

  1. 何が起きたか

    Zennの論考が「空白駆動」アーキテクチャを提案し、softmax確率の最大値が閾値を下回るとLLMの出力段をHi-Zにし、入力変化が微小なときは不感帯で出力を凍結する。

  2. なぜ重要か

    実現すれば低信頼トークンの出力を防ぎ、マルチエージェントの無駄な往復を停止できる。モデル拡大ではなく出力段でハルシネーションの波及や冗長ループに対処する。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

問題は構造的なものとして位置づけられている。従来の密なLLMエージェントは確信度にかかわらず低い出力インピーダンスで確率的トークンを出し続け、それがハルシネーションの波及、共有文脈でのバス衝突、文脈過負荷を招くという。提案される解決策は、回路設計やプラント制御の遮断・調停機構を推論層に直接持ち込むことだ。

空白駆動の中核は3つある。3状態バスの類推により、最大Pが閾値を下回ると出力段をHi-Zにし、空白を保つことでハルシネーションの伝播を物理的に遮断する。制御工学から借りた不感帯は、入力やエントロピーの変化が微小なとき出力を保持し、プロンプトの揺らぎへの過剰反応を防ぐ。そしてリリーフバルブは、文脈圧が0.85などの上限を超えると過剰な対話履歴を消去し、システムを安全な初期状態に戻す。

マルチエージェント環境では、Kuramotoモデルを拡張し、各エージェントが内部にクランク位相角を持ち、1回転の中で4つの行程を巡回する。低Z出力、不感帯監視、Hi-Z遮断、リリーフパージだ。この幾何学的にスケジュールされたリズムが同時発話を構造的に排除すると論じる。付属のPython/PyTorchサンプルは共有バス、クランク同期器、制御エージェントを実装し、そのステップはまず全体リリーフを確認し、次に行程状態、次に確信度を確認してからバスに書き込む。著者は、信頼性はパラメータの拡大ではなく、確率空間の外側に重ねるガバナンスから生まれると結論づけている。

よくある質問
Hi-Z出力遮断は具体的に何が引き金になるのか?
softmax確率の最大値が設定した信頼度閾値を下回ると、モデルは出力段をハイインピーダンスに切り替え、低信頼トークンを出す代わりに沈黙する。
不感帯とHi-Z状態はどう違うのか?
不感帯は入力やエントロピーの変化が微小な揺らぎに過ぎないとき、それをノイズとして出力を凍結する。一方Hi-Zは低信頼度で作動する完全な切断だ。
文脈圧が上限に達すると何が起きるのか?
文脈圧が0.85を超えると、リリーフバルブのパージが過剰な対話履歴を強制消去し、システムをより安全な初期状態にリセットする。
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

OneTrust、AI台帳を継続更新する秋リリース

OneTrustはOneTrust CORIEを基盤とするFall '26リリースを発表し、厳選した基盤モデルライブラリからモデルの関連付けと非推奨指標を継続的に更新するAI台帳を追加した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へAIの統計1,285件、研究の裏付けは40%