英伟达提出Reshard加速RL权重重拟合

英伟达发布Reshard Collective，将强化学习后训练中的权重重拟合重构为DTensor到DTensor的传输，仅移动理论最小数据量。开源实现NCCL M2N Reshard已在GitHub发布。在NeMo RL基准测试中，针对Qwen 3 235B、DeepSeek v3 671B等模型，相比传统gather-and-broadcast方式实现2.7x至5.7x提速。