Hugging Face

これまでTPU上でPyTorchを動かすには、通常PyTorch/XLA（torch_xla）を経由する必要があり、遅延テンソルやデバッグのしにくさといった癖があった。Hugging FaceはOptimum TPUを構築し、自社モデルのTPU上での推論と訓練を支えてきたが、そこにさらに一層が加わっていた。TorchTPUはTPUをPyTorchの単なるデバイスの一つにすることでこの構成を変え、TPU専用フォークなしで同じコードが動くようにする。TPUはGoogle独自のAIアクセラレータであり、Google Cloudで1チップから数千チップのポッドまで利用でき、ソフトウェアスタックは歴史的にTensorFlowとJAXを中心に育ってきた。Hugging Faceはこの統合をテスト中で、TPU上で実行するテストのうち96.5%が通過し、TorchTPUリポジトリでは34件のIssueを報告、うち19件はすでに修正済みだ。TPU上での実行により、StaticCacheやQwen3のテンソル並列プランなど、Transformers自体のバグも表面化し、これらは上流で修正された。