同じモデルでも実行経路で134.7msと5.03ms

動いているように見えるモデルでも、ネットワークの大半をGPUとCPUで静かに実行している可能性がある。デフォルトのTFLite経路では、343レイヤーのうちNPUで実行されたのは19のみで、168レイヤーがGPU、156レイヤーがCPUに割り当てられた。レイヤーごとのプロファイルがなければ、134.7 msをチップの性能として記録し、この誤配置に気づくことはない。

失敗も同様に示唆に富む。事前コンパイル済みFP32モデルは、デバイスが量子化されたI/Oを要求するため拒否された。w8a16 QDQ変換は終了コード14のみを返し、qualcomm/ai-hub-models#364で上流の問題が提起された。QNN DLC FP32モデルはコンパイルできたが、実機でMODEL_GRAPH_ERRORにより失敗した。コンパイル成功は実行成功ではないという戒めである。

Galaxy S25の対照実行が重要なのは、問題を切り分けられるからだ。フラッグシップスマートフォンでは、デフォルトのTFLiteデリゲートでも全レイヤーがNPUに配置され、約2.9 msだった。著者はRockchipボードでも同じ失敗パターンを確認しており、RKNNモデルはオペレーターごとに黙ってCPUにフォールバックする。結論は、実行環境、精度、レイヤー配置を欠いたレイテンシ値は不完全であり、遅いNPUと仕事を割り当てられなかったNPUを区別できる唯一の証拠はレイヤープロファイルだということである。