道路網の連結推論、マスクで精度改善

この実験は、まずOpenStreetMapとUXsimから交通流データセットを構築し、Graph EmbeddingとTransformerモデルを訓練し、その後ノード数が異なる道路ネットワークへの転移学習を試した一連の記事を発展させたものだ。第5回では、Shared Transformerを浅間下交差点エリア（122ノード）と川崎市立幸高等学校エリア（126ノード）のデータで共訓練した。その時の推論はネットワークごとに個別に実行され、同じShared Transformerを2回呼び出していた。

今回の新たなステップは、EdgeLoRAのBatch LoRA Inferenceから着想を得ている。複数のLoRAアダプターが単一のベースモデルを共有してリクエストをまとめて処理する手法だ。ここでは、2つのネットワークのトークン系列（1464と1512トークン）を連結して2976トークンの入力とする。しかし単純な連結では、一方のネットワークのトークンが他方に注意を向けてしまう。Network Isolation Maskがこうしたネットワーク間の結合を遮断し、分離後は出力が各ネットワーク固有のFully層を通る。マスクありではバッチ推論は個別推論とほぼ完全に一致したが、マスクなしでは誤差指標が顕著に上昇した。

著者はこれを、単一のShared Transformerが複数の道路ネットワークを同時に扱える証拠と位置づけている。ネットワークごとにTransformerを複製するのではなく、Network Adapterを追加することでスケールできる可能性がある。