↑

Meta生产环境运行谷歌TPU:TorchTPU栈让PyTorch原生上TPU(续)

PromptTree|阅读 1
2026/10/23 08:32
MetaGoogle TPUTorchTPUPyTorch
续报谷歌开源TorchTPU:Meta方面确认基于TorchTPU的SGLang已在生产环境服务AI负载,使PyTorch工作负载可在谷歌TPU上原生部署而无需整体迁往JAX;同期vLLM等推理引擎也推出面向TPU的开源路径,被解读为削弱单一GPU软件绑定。

续报10月21日谷歌开源TorchTPU一事。更值得单独成篇的新进展是:Meta侧明确表态,SGLang-TorchTPU已在生产环境运行。对PyTorch生态而言,这意味着TPU不再只是“研究桥接”,而是可选的生产推理后端。

据谷歌开发者博客与Tom's Hardware等报道,既往在TPU上跑主流推理引擎往往要绕JAX;新的TorchTPU路径让训练与服务可在熟悉的PyTorch工具链上对接TPU,并与vLLM、SGLang、Ray等组件协同。Meta的PyTorch-TPU负责人称三方(Meta、谷歌、SGLang团队)紧密合作后,生产栈“相当成熟”;工程负责人则强调不能被单一硬件架构约束。外媒还援引评测称,在特定Ironwood TPU配置上,对超大开源模型的单用户吞吐可高于对照的GB200设置——该数字来自第三方/合作方测试,需谨慎解读。

把这条放进更大画面:亚马逊同期开源TorchNeuron,谷歌推TorchTPU,都在攻同一座城墙——CUDA生态惯性。Meta作为PyTorch守门人亲自在生产里跑TPU,信号强于任何Bench数字。需要说明的是,TPU具体部署地点与采购结构未完全公开;Prometheus超集群等自建GPU叙事与TPU租用可并行存在。

一句话收尾:当PyTorch的东家开始在生产里跑TPU,GPU“唯一默认答案”的地位,又被凿开了一道口。