CHAPTER 13
模型后训练：SFT 与强化学习
理解哪些能力靠训练，哪些靠 Harness
预训练赋予通用语言与推理能力，后训练(post-training)才把模型“塑形成会当 Agent 的样子”：遵循指令、正确调用工具、进行长链推理、并按人类偏好与安全标准行事。应用工程师不一定要亲自训练，但必须理解它，才能判断一个问题该靠上下文/Harness 解决，还是该靠微调解决。
SFT
监督微调
用高质量“指令→理想行为”样本模仿学习，教会格式、工具调用协议、解题套路与风格。是最直接、最可控的行为塑造手段。
RL
强化学习与偏好优化
RLHF / PPO 用奖励或偏好信号塑形；DPO 等免奖励模型方法更轻量。能优化“结果好坏”这类难以写清规则的指标。
Agent 相关
工具使用与推理的训练
把工具调用轨迹、多步推理与自我校正作为训练信号，模型才能把“会用工具、会在循环中纠错”内化为默认能力。
靠上下文 / Harness 改进
- 改提示、加工具、加测试与护栏，见效快、可回滚
- 适合行为不稳、知识缺失、接口不清的问题
- 无需训练资源，应用工程师主战场
靠后训练改进
- 把能力内化进权重，改变“默认行为分布”
- 适合格式/协议、稳定行为模式、深层推理能力
- 成本高、需数据与评测，周期长、回滚难
应用工程师需要掌握的“训练层”常识
- 数据合成：用强模型生成/筛选 SFT 样本与偏好数据，质量决定上限
- 奖励设计：把“好结果”定义成可优化信号，警惕 reward hacking
- 何时微调 vs 何时提示/RAG：知识缺口优先 RAG/上下文；稳定行为与协议才微调
- 评测：训练前后都要有一致的评测集，防止“越训越偏”
面试区分：应用层 ≠ 训练层
AI 应用工程师岗位多聚焦“用模型”(上下文/工具/评测/Harness)，算法/基座岗位更关注“训模型”(SFT/RL/数据)。被问到后训练时，讲清“我理解它的机制与边界，并能判断问题该在哪一层解决”比背公式更加分。