谷歌与Meta开源TorchTPU原生PyTorch后端

谷歌与Meta合作开源TorchTPU，为Google TPU提供原生PyTorch后端，现有PyTorch工作负载只需少量代码修改即可运行，支持即时执行、编译执行与分布式计算。其DeferAndFuse混合模式称比Strict Eager快50%以上。谷歌在多代TPU上评估约5000个Hugging Face模型，单枚TPUv7上300亿参数模型推理吞吐达每秒25700个Token。