NVIDIAがDIN DeployでC++AI公開

DIN Deployは、NVIDIA自身が説明するギャップを埋めることを狙っている。AIモデルをローカルアプリケーションに追加するには、ポータブルなモデル形式、信頼できるランタイム、対象システム全体で動作する高速化が必要だ。このコレクションは、各サンプルを、モデルチェックポイントをONNXアーティファクトに変換するPythonエクスポーターと、ONNX Runtime上に構築されたネイティブC++ CLIに分割することで、この課題に対応している。

リポジトリは複数のタスク種別を同時にカバーする。自動音声認識、画像・動画向けのインタラクティブなマスキング、プロンプト駆動の画像生成だ。DGX Sparkで測定された性能値は、これらのワークロードでGPU高速化がCPUを大きく上回ることを示しており、openai/whisper-large-v3-turboはGPUで実時間の58.5倍、CPUで3.8倍、facebook/sam2.1-hiera-base-plusはGPUで38.3 FPS、CPUで0.5 FPSだった。

これらのサンプルが実用上どれほど役立つかは、実行プロバイダーが必要なONNX RuntimeテンソルAPIに対応しているかどうかにかかってきそうだ。NVIDIAが共有コードの実行条件として挙げているのがまさにこの点だからだ。WindowsとLinux（Arm64版を含む）の開発者は、リポジトリのCMakeプリセットから始められる。プリセットはデフォルトでONNX RuntimeとTensorRT RTXをダウンロードする。