スマートグラス映像から指の動きでパスワード推測

論文の出発点は、Meta Ray-Banなどのスマートグラスが普通の眼鏡に見えるため、撮影されていることに気づかれにくいという点にある。さらに攻撃は正面から指を読み取るため、肩越しの覗き見を防ぐ習慣を回避できる。従来の映像解析研究は、キーの大きいタブレットや4桁のPINなど単純な条件に限られていた。今回の研究は、端末やキーボードアプリの事前知識なしで、スマホへの自然な入力に適用できる範囲の広さを主張する。

処理の流れは、画像認識モデル（SAM 3）とハンドトラッキングモデル（MediaPipe Hands）で指先をサブピクセル精度で追跡し、3Dニューラルネットワークでキーが押された瞬間を特定、バックスペースによる修正を捨てる。大文字や数字の入力に必要なシフトキーとレイアウト切り替えキーから画面上のキーボード領域を割り出し、映像から得たキーごとの押下確率と、約22億件の漏えいパスワードの統計を組み合わせて候補を絞り込む。

研究者が報告する限界は、リスクが低くなる条件を示す。指の動きが非常に小さいまま速く打つ若年層、入力がたどたどしい人、両親指でほぼ同時に押す人では精度が下がる。