公式demoは4.51.3のみ動作

問題の根はrknn-llmの内部一貫性の欠如にある。エクスポートスクリプトは古い契約に従ってmodel.visualを直接読む一方、量子化スクリプトはすでに5.xのモジュール構成（model.model.language_model）向けに書かれている。各世代の事情はこうだ。5.8.0はvisualをmodel.model.visualへ移し、4.57.0はVisionAttentionがposition_embeddingsを無条件に展開するようにし、4.54.xはrotary_pos_embから導出するフォールバックをすでに削除していた。両条件を満たすのは4.51.3だけで、ソースの読解と実際のエクスポートで確認した。

回避パッチではなく、著者は2つの原則を守った。上流スクリプトとモデルにパッチを当てないこと、推測ではなくソースで検証することだ。まず.visualのエイリアスを試したが、属性エラーを回避してもアテンションの契約は破綻したままで、埋め込みの流れを変えると無言の誤埋め込みが後続のベンチマークを汚染する恐れがあった。バージョン固定で解決したが、その代償としてVisionエクスポートには4.51.3、量子化の埋め込みには5.8.0を並行して使い分けることになった。

Vision塔のエクスポートが完了した（53MBのONNXグラフと2,661,085,184バイトの重み、onnx.checker通過）。残る作業は量子化とRKLLMエクスポート、続いてボード上での呼び出しあたりのVisionエンコード時間とprefill/decode tokens/sの測定、そして中国語の看板やOCRケースを含む24問の品質チェックだ。