入力の表現から予測を作る3構成を整理

これは先行する2つの議論の間に位置する。出力同士の依存関係（並列生成か逐次生成か）と、可変長入力の表現（集約特徴かentity tokenか）だ。焦点はその間の層、つまり符号化された表現の集合H=(h_1,...,h_n)を予測にどう変換するかにある。

入力の単位と出力の単位を分けて考える。モデルは入力全体に対する1つの性質を予測することも、入力要素ごとに予測することも、入力トークンと1対1で対応する必要のない別個の出力スロット群について予測することもできる。3つの設計はこれらのケースに対応し、入力トークンを増やしても同数の出力が強制されるわけではない。

出力クエリ間で情報を交換することは、自己回帰的な条件付けとは別物だ。クエリのself-attentionを使いつつ各出力を独立にサンプリングする場合、同時分布は入力が与えられた下での出力ごとの分布の積に分解される。自己回帰生成は各出力を既に選ばれた出力に条件付けるもので、表現の読み出し方とは別の設計軸である。