投稿 提交工具 投放合作

HY-SOAR:扩散模型的免奖励自纠错后训练方法

大语言模型 752 64 Python 2026-11-16 在 GitHub 打开

面向 rectified-flow 扩散模型的免奖励后训练方法,在出错的时间步上直接纠正去噪轨迹。

HY-SOAR 是针对 rectified-flow 扩散模型的免奖励后训练方法,处理训练用理想加噪状态、推理用模型自身预测状态造成的 exposure bias。做法是:从干净潜变量 z0、噪声端点 z1 和条件 c 出发,采样轨迹上的含噪状态并用当前模型做一步带 CFG 的 rollout,再把偏离轨迹的状态重新加噪回同一噪声端点,用解析修正目标 v_corr 监督去噪器,从而得到 on-policy、稠密且无需奖励模型、偏好标签或负样本的训练信号。仓库提供训练与评测代码,基于 DiffusionNFT 与 Flow-GRPO 代码库,训练脚本以 stabilityai/stable-diffusion-3.5-medium 为基座模型,支持 GenEval、OCR、PickScore、ClipScore、HPSv2.1、Aesthetic、ImageReward 等奖励环境。

Star 趋势2026-11-07 — 2026-11-16当前 Stars 7527 日 +0

75211-0711-1211-16