第2章 · 大模型对齐技术
文档摘要
第 2 章 · 大模型对齐技术 章节摘要：第一章讲的是"怎么挡住外部的恶意攻击"，这一章换个视角：与其等模型上线后被攻击，不如在训练阶段就让模型学会"做人类希望它做的事、不做人类不希望它做的事"。这就是对齐（Alignment）。本章梳理从 RLHF 到 RLAIF、宪法 AI、DPO 的技术演进——为什么需要它们、各自解决什么问题、又各自付出了什么代价。读完你会理解"对齐不是单点技术，而是一组在不同约束下权衡的方法"。
第 2 章 · 大模型对齐技术
章节摘要：第一章讲的是"怎么挡住外部的恶意攻击"，这一章换个视角：与其等模型上线后被攻击，不如在训练阶段就让模型学会"做人类希望它做的事、不做人类不希望它做的事"。这就是对齐（Alignment）。本章梳理从 RLHF 到 RLAIF、宪法 AI、DPO 的技术演进——为什么需要它们、各自解决什么问题、又各自付出了什么代价。读完你会理解"对齐不是单点技术，而是一组在不同约束下权衡的方法"。
学习目标
阅读完本章，你应当能够：
- 用一句话说清"对齐"到底对的是什么——是人类意图、价值观，还是行为规范
- 复述 RLHF 的三阶段流程（SFT、奖励模型、PPO）及其主要局限
- 解释 RLAIF 和宪法 AI 如何用 AI 反馈替代或补充人类反馈
- 区分 DPO 与 PPO 的训练范式，并说出 DPO 为什么在中小团队流行
- 用 HHH（有用、诚实、无害）框架评估一个模型的对齐效果
核心概念速览
对齐的本质，是给模型装上一个"价值指南针"——让它在面对模糊或冲突的指令时，知道往哪个方向走。
子章节导航
2.1 RLHF 强化学习人类反馈
讲对齐技术的起点：用人类标注的偏好数据训练奖励模型，再用 PPO 强化学习优化策略。这节拆解三阶段流程，并分析它标注成本高、扩展性差的局限。
2.2 RLAIF 与宪法 AI
讲怎么用 AI 反馈代替一部分人类反馈来降本，以及怎么用一套显式的"宪法"原则让模型自我批评、自我修订。
2.3 DPO 与对齐效果评估
讲绕过奖励模型、直接用偏好数据优化策略的 DPO，以及怎么用 HHH 框架和基准测试量化对齐效果。
子章节之间的逻辑关系
先理解对齐的"标准答案"RLHF（2.1），再看它太贵所以演化出 AI 反馈和原则约束（2.2），最后看绕过强化学习的新范式 DPO 和如何评估对齐做得好不好（2.3）。
2.1 RLHF 标准 ──► 2.2 RLAIF/宪法AI 降本 ──► 2.3 DPO 简化 + 评估 （人类反馈） （AI反馈/原则） （直接优化/量化）
前置知识与后续延伸
- 前置知识：了解强化学习的基本概念（策略、奖励、价值），熟悉 transformer 模型结构，读过第一章对"威胁"的理解有助于理解"为什么对齐难"。
- 后续延伸：本章让模型"行为正确"，但行为正确不代表"决策可解释"。第 3 章讲怎么打开黑盒，让模型的决策过程变得透明。
延伸：对齐技术的选型路线
三节读完，值得退一步看工程上怎么选路线。一个务实的判断是：对齐手段的复杂度应该和模型的开放程度、业务的风险等级相称。如果你的团队只是在开源基座上做垂直领域的指令微调，多数情况下高质量的 SFT 数据集加上 DPO 就能解决八成问题，PPO 阶段引入的工程复杂度（四个模型同时驻留显存、奖励尺度漂移）在这个量级是负资产。只有当你面对的是通用对话产品、模型规模大、安全要求高时，RLHF 完整流水线才是值得投入的。
另一个常被低估的环节是对齐数据的治理。偏好数据的质量决定奖励模型的上限，而"质量"不只是标注一致性——更隐蔽的问题是标注员群体本身的价值分布是否代表你的用户。曾有团队发现不同地区的标注员对"模型该不该拒绝回答"的判断差异极大，导致模型行为在某类市场上显得过度保守。解决办法是在标注规范里明确争议场景的处理原则，并保留标注元数据（时间、群体、指南版本），出问题时可以回溯重标。
图：对齐技术演进的代价与收益曲线
选型的另一个维度是迭代速度。DPO 一次实验几个小时能出结果，PPO 动辄数天，这个差距决定了你能做多少轮试错。对齐很大程度上是"和数据博弈"的过程，试错轮数多的团队往往比算力多的团队走得更快。
关于学习本章的顺序再给一个提示：如果你时间有限，优先精读 2.1 的三阶段流程和 2.3 的评估部分。前者是所有对齐技术的概念基座——不懂奖励模型的角色，后面的 RLAIF 和 DPO 都只能死记；后者决定你能不能判断"对齐是否真的发生了"，这是工程上最值钱的能力，因为市面上会跑训练脚本的人很多，能设计可信评估的人很少。2.2 可以当作扩展阅读，它的价值更多在思路上——把隐式偏好显式化成可审计的原则，这个思想在合规场景里越来越重要。
另一个值得建立的机制是对齐资产负债表：每个版本列出"这次对齐解决了什么问题、引入了什么新行为、已知未解决什么"，随版本归档。它不只在审计时有用，更是团队的知识资产——半年后想不起某类行为是哪次改动引入的，翻表即得。没有这张表的团队会反复踩同一个坑，因为教训只存在个人的记忆里。
顺带一句成本核算：一次七 billion 级模型的完整 RLHF 实验，算力开销通常是 DPO 的五到十倍，还不含四个模型协同驻留带来的工程复杂度。立项时把这些数字摆上桌，决策会理性得多。