RLHF 简介 #

┌─────────────────────────────────────────────────────────────┐
│                       RLHF 定位                              │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐         │
│  │  人类偏好    │  │  奖励学习    │  │  策略优化    │         │
│  │  Human      │  │  Reward     │  │  Policy     │         │
│  │  Preference │  │  Learning   │  │  Optimizer  │         │
│  └─────────────┘  └─────────────┘  └─────────────┘         │
│  ┌─────────────┐  ┌─────────────┐  ┌─────────────┐         │
│  │  价值对齐    │  │  安全可控    │  │  质量提升    │         │
│  │  Alignment  │  │  Safety     │  │  Quality    │         │
│  └─────────────┘  └─────────────┘  └─────────────┘         │
│                                                             │
└─────────────────────────────────────────────────────────────┘

传统预训练模型的问题：
├── 输出可能与人类意图不一致
├── 可能生成有害、偏见或虚假内容
├── 难以精确控制输出风格和格式
├── 缺乏对复杂指令的理解能力
└── 安全性和可控性不足

RLHF 解决方案：
├── 通过人类反馈学习偏好
├── 优化模型输出符合人类价值观
├── 提升指令遵循能力
├── 增强安全性和可控性
└── 改善整体输出质量

2017年 ─── 概念萌芽
    │
    │      OpenAI 开始探索
    │      人类反馈用于强化学习
    │

2019年 ─── 早期研究
    │
    │      "Fine-Tuning Language Models from Human Preferences"
    │      验证了 RLHF 的可行性
    │

2022年 ─── InstructGPT 发布
    │
    │      OpenAI 发布 InstructGPT 论文
    │      三阶段训练流程确立
    │      展示 RLHF 的巨大价值
    │

2022年 ─── ChatGPT 发布
    │
    │      基于 RLHF 训练
    │      引发全球关注
    │      证明 RLHF 的商业价值
    │

2023年 ─── 开源生态爆发
    │
    │      LLaMA 2 发布 RLHF 版本
    │      TRL、DeepSpeed-Chat 等工具成熟
    │      DPO 等简化方法出现
    │

2024年 ─── 技术演进
    │
    │      多轮 RLHF 迭代
    │      更高效的训练方法
    │      多模态 RLHF 探索
    │

至今   ─── 广泛应用
    │
    │      成为 LLM 训练标配
    │      持续优化和创新
    │      新变体不断涌现

┌─────────────────────────────────────────────────────────────┐
│                    学习范式对比                              │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  监督学习 (Supervised Learning)                              │
│  ┌─────────────────────────────────────────────────────┐   │
│  │  输入 X → 模型 → 输出 Y                              │   │
│  │            ↓                                        │   │
│  │      与标签 Y' 比较                                  │   │
│  │            ↓                                        │   │
│  │        计算损失                                      │   │
│  └─────────────────────────────────────────────────────┘   │
│  局限：需要精确标注，难以表达复杂偏好                         │
│                                                             │
│  强化学习 (Reinforcement Learning)                           │
│  ┌─────────────────────────────────────────────────────┐   │
│  │  状态 S → 智能体 → 动作 A                            │   │
│  │            ↓                                        │   │
│  │      环境反馈奖励 R                                  │   │
│  │            ↓                                        │   │
│  │      优化策略最大化奖励                              │   │
│  └─────────────────────────────────────────────────────┘   │
│  优势：可以学习复杂偏好，支持序列决策                         │
│                                                             │
└─────────────────────────────────────────────────────────────┘

创新点 1：偏好学习
────────────────────────
- 不需要精确标注
- 只需要相对排序（A 比 B 好）
- 更容易收集高质量数据

创新点 2：奖励建模
────────────────────────
- 将人类偏好转化为可学习的奖励函数
- 奖励模型可以泛化到新数据
- 支持自动化优化

创新点 3：策略优化
────────────────────────
- 使用强化学习优化语言模型
- 平衡探索和利用
- 保持语言能力的同时优化偏好

┌─────────────────────────────────────────────────────────────┐
│                    RLHF 三阶段训练                           │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  阶段一：监督微调 (SFT)                                      │
│  ┌─────────────────────────────────────────────────────┐   │
│  │                                                     │   │
│  │  预训练模型 + 高质量指令数据 → SFT 模型              │   │
│  │                                                     │   │
│  │  目的：让模型学会遵循指令                            │   │
│  │  数据：人工编写的高质量问答对                        │   │
│  │  方法：标准监督学习                                  │   │
│  │                                                     │   │
│  └─────────────────────────────────────────────────────┘   │
│                          │                                  │
│                          ▼                                  │
│  阶段二：奖励模型训练 (RM)                                   │
│  ┌─────────────────────────────────────────────────────┐   │
│  │                                                     │   │
│  │  SFT 模型输出 + 人类偏好标注 → 奖励模型              │   │
│  │                                                     │   │
│  │  目的：学习预测人类偏好                              │   │
│  │  数据：同一提示的多个回复 + 人工排序                  │   │
│  │  方法：对比学习（Bradley-Terry 模型）                │   │
│  │                                                     │   │
│  └─────────────────────────────────────────────────────┘   │
│                          │                                  │
│                          ▼                                  │
│  阶段三：强化学习优化 (PPO)                                  │
│  ┌─────────────────────────────────────────────────────┐   │
│  │                                                     │   │
│  │  SFT 模型 + 奖励模型 → RLHF 模型                     │   │
│  │                                                     │   │
│  │  目的：优化模型输出符合人类偏好                      │   │
│  │  方法：PPO 算法                                      │   │
│  │  约束：KL 散度约束防止偏离太远                       │   │
│  │                                                     │   │
│  └─────────────────────────────────────────────────────┘   │
│                                                             │
└─────────────────────────────────────────────────────────────┘

目的：
├── 让模型学会理解和遵循指令
├── 建立基本的对话能力
└── 为后续 RLHF 提供良好的起点

数据要求：
├── 高质量的指令-回复对
├── 覆盖多种任务类型
├── 回复由人工编写或严格审核
└── 通常需要数千到数万条数据

训练方法：
├── 标准的因果语言模型训练
├── 交叉熵损失
├── 较小的学习率
└── 通常 1-3 个 epoch

目的：
├── 学习预测人类对模型输出的偏好
├── 为强化学习提供奖励信号
└── 捕捉人类价值观和偏好

数据要求：
├── 同一提示的多个回复
├── 人工对回复进行排序
├── 通常需要数万到数十万对比数据
└── 标注质量直接影响最终效果

训练方法：
├── Bradley-Terry 模型
├── 对比损失函数
├── 将排序问题转化为二分类问题
└── 奖励模型输出标量奖励值

目的：
├── 优化模型生成高奖励的输出
├── 保持语言能力
└── 避免过度优化

核心组件：
├── 策略模型：待优化的语言模型
├── 参考模型：SFT 模型的副本，用于 KL 约束
├── 奖励模型：提供奖励信号
└── 价值模型：估计状态价值

训练方法：
├── PPO 算法优化策略
├── KL 散度约束
├── 裁剪目标函数
└── 多轮迭代优化

✅ 人类偏好对齐
   - 输出更符合人类期望
   - 减少有害内容
   - 提升用户体验

✅ 灵活的偏好表达
   - 不需要精确标注
   - 相对排序更自然
   - 可以捕捉复杂偏好

✅ 可迭代优化
   - 可以持续收集反馈
   - 模型可以不断改进
   - 适应新的偏好

✅ 可扩展性
   - 奖励模型可以复用
   - 支持大规模训练
   - 可以迁移到新任务

⚠️ 数据成本高
   - 需要大量人工标注
   - 标注质量要求高
   - 成本随规模增加

⚠️ 训练复杂
   - 多阶段训练流程
   - 超参数调优困难
   - 训练不稳定

⚠️ 奖励模型局限
   - 可能存在偏见
   - 泛化能力有限
   - 可能被"欺骗"

⚠️ 对齐税
   - 性能可能下降
   - 需要平衡能力和对齐
   - KL 约束的权衡

⚠️ 安全风险
   - 奖励黑客
   - 过度优化
   - 潜在的对抗攻击

应用：ChatGPT、Claude、Gemini 等

RLHF 作用：
├── 提升回复质量
├── 增强安全性
├── 改善指令遵循
└── 优化对话风格

效果：
- 更自然流畅的对话
- 减少有害回复
- 更好的用户满意度

应用：文章写作、代码生成、创意内容

RLHF 作用：
├── 控制生成风格
├── 提高内容质量
├── 确保内容安全
└── 符合特定要求

效果：
- 更高质量的输出
- 更好的可控性
- 更少的错误

应用：智能助手、自动化工具

RLHF 作用：
├── 提高任务完成率
├── 减少错误操作
├── 优化执行策略
└── 增强用户信任

效果：
- 更可靠的任务执行
- 更好的用户体验
- 更高的效率

选择 RLHF 的场景：
├── 追求最佳效果
├── 有充足的标注资源
├── 需要精细控制
└── 可以接受复杂流程

选择 DPO 的场景：
├── 追求简单高效
├── 标注资源有限
├── 中小规模模型
└── 快速迭代需求

选择 SFT 的场景：
├── 基础对齐需求
├── 资源有限
├── 快速原型
└── 简单任务

入门阶段
├── RLHF 简介（本文）
└── 基础概念

核心技术阶段
├── 奖励模型
├── PPO 算法
└── 训练流程

进阶优化阶段
├── DPO 直接偏好优化
└── 高级技术

实战应用阶段
├── 实践指南
└── 工具与框架