LLMの幻覚除去、EQ型アテンションで提案

提案の出発点は類推だ。マルチヘッド・アテンションやRoPEなどの位置埋め込みは、異なる周波数特性と特徴空間に処理を分担するスペクトル分解器のように働く。標準的なアテンションに欠けているのは、音声信号処理で使われるピンポイント減衰（ノッチフィルタ）やQ値の動的調整に相当する明示的な制御レイヤだと著者は論じる。

数理モデルはこの発想をアテンション行列に写し取る。ピーキング／ノッチフィルタでは周波数応答が中心周波数と帯域幅を決めるQ値で規定され、ここでも同じ形が当てはまる。キーと対象ノイズ埋め込みの類似度上でガウス型ノッチマスクを動的に生成し、Qが高ければ狭く鋭く削り、低ければ広い範囲を減衰させる。別途のノッチゲインは、ノイズと判定された領域のスコアを押し下げるペナルティ係数として働く。

実装のスケッチが両者を結びつける。通常のアテンションスコアを計算し、平均化したキーと対象埋め込みの距離を測り、最小距離をガウス型ノッチマスクに変換し、スケールしたペナルティをsoftmaxの前に差し引く。記事は、パラメトリックEQとノッチフィルタの数理をアテンションに取り込むことで不要なノイズ成分をピンポイントで除去でき、確率的な揺らぎや幻覚が入り込みやすい自由記述テキストの有効な制御手法になり得ると結論づけている。