AIToday
大規模言語モデルAIコーディングオープンソースAI主要企業のAIニュースTop Companies AI掲載日時: 2026年10月2日 6:30

NVIDIAがDIN DeployでC++AI公開

LINEで送る
NVIDIAがDIN DeployでC++AI公開

3つのポイント

  1. 何が起きたか

    NVIDIAがDIN Deployを公開。ONNX RuntimeとTensorRT RTX実行プロバイダーを組み合わせたオープンソースC++サンプルで、WindowsとLinuxに対応する。

  2. なぜ重要か

    開発者は共有コードパスを使え、ベンダー固有のCUDAコードはオプションの高速化パスに限定される。必要なテンソルAPIに対応するシステムなら同じサンプルが動く。

  3. 注目点

    ONNX RuntimeのテンソルAPI対応は実行プロバイダー次第だ。DGX Sparkに注目。whisper-large-v3-turboはGPUで実時間の58.5倍、CPUで3.8倍だった。

わからないところ、AIに聞けます

質問と回答はこのページに公開されます。

こういう要約が、毎朝あなたのメールに届きます。

背景と解説

DIN Deployは、NVIDIA自身が説明するギャップを埋めることを狙っている。AIモデルをローカルアプリケーションに追加するには、ポータブルなモデル形式、信頼できるランタイム、対象システム全体で動作する高速化が必要だ。このコレクションは、各サンプルを、モデルチェックポイントをONNXアーティファクトに変換するPythonエクスポーターと、ONNX Runtime上に構築されたネイティブC++ CLIに分割することで、この課題に対応している。

リポジトリは複数のタスク種別を同時にカバーする。自動音声認識、画像・動画向けのインタラクティブなマスキング、プロンプト駆動の画像生成だ。DGX Sparkで測定された性能値は、これらのワークロードでGPU高速化がCPUを大きく上回ることを示しており、openai/whisper-large-v3-turboはGPUで実時間の58.5倍、CPUで3.8倍、facebook/sam2.1-hiera-base-plusはGPUで38.3 FPS、CPUで0.5 FPSだった。

これらのサンプルが実用上どれほど役立つかは、実行プロバイダーが必要なONNX RuntimeテンソルAPIに対応しているかどうかにかかってきそうだ。NVIDIAが共有コードの実行条件として挙げているのがまさにこの点だからだ。WindowsとLinux(Arm64版を含む)の開発者は、リポジトリのCMakeプリセットから始められる。プリセットはデフォルトでONNX RuntimeとTensorRT RTXをダウンロードする。

よくある質問
DIN DeployのサンプルはどのAIタスクをカバーしていますか?
オフラインとストリーミングのパイプラインによる自動音声認識、Meta SAM 2.1による画像・動画のマスキング、FLUX.2-klein-4Bサンプルによるプロンプト駆動の画像生成をカバーしています。
これらのサンプルでGPUはCPUよりどの程度高速ですか?
DGX Sparkでは、openai/whisper-large-v3-turboがGPUで実時間の58.5倍、CPUで3.8倍でした。facebook/sam2.1-hiera-base-plusはGPUで38.3 FPS、CPUで0.5 FPSでした。
量子化モデルを使うにはアプリケーションコードを変更する必要がありますか?
FLUX.2サンプルは、NVIDIA Model Optimizerによる学習後量子化で量子化ONNXモデルを生成することを示しています。ONNXインターフェースは変わらないため、量子化モデルはアプリケーションコードの変更なしにそのまま差し替えられます。
Top Companies AI元記事を読む
LINEで送る

あなたの仕事に関係するAIニュースを、毎朝お届けします。

業界と使っているAIツールを選ぶと、仕事に関係するニュースが毎朝届きます。

登録無料・Googleアカウントなら30秒・いつでも解除できますAITodayについて →

AIに質問

この記事についてわからないことをAIに質問できます。AIはこの記事・AIToday の過去記事・Wikipedia を読み、出典を付けて答えます。Q&Aはこのページに公開され、他の読者も読めます。

質問と回答はこのページに公開されます。

このようなAIの動きを、御社の業界・競合に合わせて毎日届ける法人プランもあります → 詳しく見る

関連記事

Reson8、5億パラメータの音声認識モデルを無償公開

Reson8は5億パラメータの音声認識モデルRumble-2-FlashをApache 2.0ライセンスの無償オープンウェイトとして公開した

NEWSiliconANGLE AI4時間前

マイクロソフトがAIエージェントで攻撃対抗サービス提供開始

Microsoft Ignite 2026でマイクロソフトは赤・青・緑チームのエージェントを組み合わせ攻撃模擬・検知調査・脆弱性修正を行うMicrosoft Perceptionの一般提供を発表した

NEWPublickey4時間前

Windows Server 2028がパブリックプレビュー公開

Microsoft Ignite 2026でWindows Server 2028のパブリックプレビューが公開され、Microsoft Foundry、Windows ML、vLLM、Llama.cppによるAI推論ホス…

NEWPublickey4時間前

AUMOVIOがLLMの唯一の経路をDatabricksに統一

AUMOVIOはDatabricks Unity GatewayをLLMへの唯一の経路に採用

NEWDatabricks AI Blog4時間前

CADMAGEDDON、5ベンチマークで最先端CADモデル超え

CADMAGEDDONはBenchCADの64³ボクセルIoUで、1000部品のサブセットにおいて0.991を記録し、Claude Sonnet 5.5の0.963、Claude Opus 5.5の0.962、GPT-6…

NEWAI Weekly4時間前

MIT Technology ReviewのAI指数、AIは遍在

MIT Technology ReviewのAI誇大広告指数はAIの広がりを示し、GoogleのAI Overviewsが広告収入で数十億ドルを失わせたことやAI支援のサイバー攻撃を挙げた

NEWMIT Technology Review AI4時間前
次の記事へAmphenol受注、AI需要で107億ドルに