スライディング窓注意が長文脈で線形を凌駕

Alexia Jolicoeur-Martineau、Rhea Sanjay Sukthanker、Pashmina Cameron、Emy Gervaisによる新しいarXivプレプリントは、シンク付きスライディング窓注意が長文脈推論において線形注意の変種と同等以上に機能すると主張している。Needle-in-a-HaystackとBABILongのベンチマークで、線形注意より2〜10倍高い性能を報告している。