上一篇我们学习了偏好对齐的两条路线:DPO 跳过奖励模型和强化学习,直接用偏好数据对模型做监督式训练;GRPO 则用组内相对优势替代价值网络,让强化学习变得更轻。至此,从数据清洗、分词器训练、目标函数