AmazonがSGLang-Neuron公開

SGLang-Neuronはアウトオブツリー型プラグインとして登場した。この設計により、Trainium固有のコードをSGLang本体から切り離して保つ。両コードベースを独立して反復開発でき、片方の改善がもう片方を待たなくて済むようにする狙いだ。プラグインはTrainium固有のモデル、アテンション、mixture of experts（MoE）、グラフランナーを実装し、SGLang本体はAPIサーバー、リクエストライフサイクル、RadixAttention、プレフィックスキャッシュの管理を引き続き担う。

基盤ではTorchNeuronがTrainiumをネイティブPyTorchデバイスとして登録する。SGLang-Neuronはモデル実行パスに標準のPyTorch演算を使い、性能向けにNeuron Kernel Interface（NKI）で書いたカーネルを追加、torch.compileで実行可能なプログラムにコンパイルする。大規模配信向けにはPD分離にも対応し、prefillサーバーがプロンプトのKVキャッシュを計算してNIXL経由でElastic Fabric Adapter上をdecodeサーバーへ転送する。

今回のリリースは、SGLangのサーバーインターフェースと生成APIをすでに使っているチームを想定している。SGLANG_PLATFORM=neuron設定でTrainiumを選べば、同じ方法でモデルを起動しエンドポイントを呼び出せる。ウォークスルーではTrainium3のAmazon EC2インスタンスとpytorch-inference-sglang-neuronxコンテナを使っており、研究用プレビューではなく実運用を見据えた道筋であることを示している。