Hugging FaceがWebGPU向け最適化カーネル207種を公開。ブラウザ内AI推論を高速化する。
テストでは平均でORT WebGPUより2.57倍高速だった。自前ハードで計測できるツールFleetも提供。
Apache-2.0ライセンスで今すぐ利用可能。
何が起きたか
Hugging Faceは、Hugging Face Hubから最適化されたWebGPUカーネルを実行するためのライブラリ「@huggingface/kernels」と、初期提供分となる207種類のカーネル群を公開した。各カーネルはバージョン管理された個別パッケージとして公開され、正確性テストとベンチマークケースが付属する。ブラウザ内ベンチマークツール「Fleet」も同時にリリースされた。
なぜ重要か
このカーネル群は、Webブラウザ上でのAI推論（モデルが回答を生成する処理）を高速化・簡素化するために設計されている。Apple M4 GPU上でORT WebGPUと比較したところ、809件の比較テストケースにおいて幾何平均で2.57倍、中央値で1.90倍高速で、個別の演算では1万倍以上速いケースもあった。この基盤層により、上位のランタイムがより効率的なGPU演算を利用できるようになる。国内のブラウザ上でAI推論を行う開発者は、処理高速化の選択肢が広がる可能性がある。
注目点
カーネル群はApache-2.0ライセンスで、現在すぐに利用可能。パッケージは`npm install @huggingface/kernels@preview`でインストールでき、WebGPU対応ブラウザが必要。Hugging Faceは今後、これらのカーネルを上位のモデルツール群と連携させ、対応する演算の範囲を拡大する計画だ。
今回のHugging Faceのリリースは、ブラウザでのAIモデル実行におけるボトルネックを狙ったものだ。WebGPUはGPU演算のためのポータブルなAPIを提供するが、パフォーマンスはデバイスや演算の実装方法によって大きく変わり得る。これらの低レベル演算（カーネル）を個別にテスト可能でバージョン管理可能な形にすることで、上位レベルのランタイムが構築するための安定した基盤を提供する。
ONNX Runtime Webとの初期ベンチマーク結果は、多くのケースで大きな性能優位性を示している。チームはこれらの数値が完全なモデルではなく個別の演算に関するものであり、正確なパフォーマンスはハードウェアによって異なることを強調している。まさにこの理由から、クラウドソーシングによるテストを通じて実際のパフォーマンスの全体像を把握するために、Fleetを立ち上げた。
今後は、共有エコシステムの構築を目指す。カーネルはCUDAやROCmなど他のプラットフォーム向けのものと並んでHub上で公開されており、チームはONNX Runtimeチームと協力してこれらの改善を上流に取り込もうとしている。これは、独立した製品を作るだけでなく、ブラウザベースのAIインフラ全体を改善し、すべての開発者にとってより高速で信頼性の高いものにすることを目指していることを示唆している。
たとえば、いま届くならこの3本です
AIが要約して、あなたの選んだトピックだけを1日1通。LINE・Email・Slackで届きます。
登録無料・30秒で完了・いつでも解除できますAITodayについて →
この記事についてわからないことをAIに質問できます。Q&Aはこのページに公開され、他の読者も読めます。
昨年設立された新興企業Aranya Inc.は、本日1100万ドルの資金調達とともに正式に事業を開始した
CBTS Technology Solutions LLCがForge Agentsを発表
アルファベットのAI概要がGoogle検索を通じて月間25億人超に到達し、広告事業は第2四半期に820億ドルの収益を計上した
サラ・オコナーの著書『ウィ・アー・ノット・マシーンズ』は、機械化とAIが労働力に与えた変化を、労働者を物語の中心に据えて探る
Visual Studio Code 1.135に、メインのコーディングアシスタントとは別のAIエージェントからセカンドオピニオンを求めることができる実験的機能「ラバーダック」が追加された
Amazon Web Services（AWS）は、フルマネージド型データウェアハウスサービス「Amazon Redshift」を、AIエージェントがAWSサービスを操作するためのスキル、ツール、ガードレールを提供する「…
