大语言模型RLHF对齐技术深度解析与工程实践

语言模型的对齐问题

预训练语言模型通过自监督目标（自回归/掩码预测）学习了丰富的语言知识和世界知识，但其输出可能与人类期望存在偏差——有害内容、事实幻觉和指令遵循失败。对齐（Alignment）的核心目标是让模型输出与人类意图和价值观一致。

SFT监督微调

SFT是Pipeline的第一步，使用高质量指令-响应对（约10K-100K条）进行有监督微调。数据质量远比数量重要——OpenAI的研究表明，1000条高质量数据可胜过100万条噪声数据。

奖励建模（Reward Modeling）

RM的目标是从人类偏好中学习一个评分函数。Bradburry等人(2020)提出：让模型对同一prompt生成多个回复，由标注者排序。然后通过Bradley-Terry模型拟合偏好概率：P(y_w > y_l) = σ(r(x,y_w) - r(x,y_l))。

PPO强化学习

InstructGPT使用PPO优化策略网络最大化奖励，同时通过KL约束防止偏离参考策略过远。PPO目标函数含clip机制稳定训练、KL惩罚保持分布接近参考模型、以及预训练梯度正则化保留通用能力。

DPO直接偏好优化

DPO(2023)绕过了奖励建模步骤，直接从偏好数据优化策略。核心洞察：最优策略与奖励函数存在封闭映射，因此可将Bradley-Terry隐式奖励下的最优策略直接参数化为π(y|x) ∝ π_ref(y|x) exp(r(x,y)/β)。

ORPO与SimPO

ORPO将SFT和偏好优化合并为单阶段训练。SimPO进一步简化了DPO，使用长度归一化奖励和margin损失，消除了参考模型需求，大幅降低内存占用。

总结

对齐技术正从多阶段Pipeline向单阶段端到端方法演进。理解SFT→RM→PPO→DPO→SimPO的技术演进逻辑，是构建安全有效LLM系统的关键。