AIニュース要約：大規模言語モデル（LLM）の推論パイプラインを解説

テキストプロンプトは、トークン化（文字列を部分単語単位に分割）、エンベディング（数値ベクトルへの変換）、位置エンコーディング（位置情報の付加）を経て、Transformerレイヤーで処理される

トークン化にはByte Pair Encoding（BPE）を使用。個別の文字から始めて最頻出の隣接ペアを繰り返し統合し、約50,000–100,000の部分単語トークンからなる語彙を作成する

エンベディングは高次元ベクトル空間で単語の関係を符号化。類似の文脈に現れる「king」と「queen」は方向が似ているため高いドット積を持つが、「king」と「banana」は異なる方向を示す