Hugging Faceが1コマンドでvLLMサーバーを起動できる機能を提供開始し、開発者がテストや評価用に手軽にAIモデルのエンドポイントを立ち上げられるようになりました。

要点

• Hugging Faceが提供するHF Jobsを用いることで、開発者は1つのコマンドでOpenAI互換のLLMエンドポイントをクラウドで起動できるようになりました。

• サーバー構築やKubernetes管理が不要で秒単位課金のため、テストや評価用モデルの迅速な立ち上げが可能です。

• エンドポイントはトークン認証で保護されており、プライベート利用に適しています。

3つのポイント

よくある質問

どのような料金体系ですか？

a10g-largeフレーバーで$1.50/時間で課金されます。ユーザーは明示的にキャンセルするか、設定したタイムアウトで自動停止できます。

大規模なモデルにも対応していますか？

対応しています。例えば122B規模のQwen3.5-122B-A10Bモデルなら2×H200のフレーバーを選択し、--tensor-parallel-size 2を指定して複数GPUに分散できます。

エンドポイントへのアクセスは制限されていますか？

はい、すべてのリクエストにはHugging Faceトークンが必須で、ジョブ名前空間への読み取りアクセス権が必要です。アクセスはユーザー・組織スコープに限定されています。