指令适配与偏好优化：数据、代理目标和评价边界

适配先要说明想改变什么行为

预训练因果语言模型学习给定前缀预测下一个 token。用户交互还要求模型识别任务、遵守输出格式、在信息不足时说明限制，并对有害或越权请求采取合适行为。指令适配用新的训练或上下文信号改变条件输出分布，但“更像标注数据”不等于掌握真实意图，更不构成安全、事实性或价值一致的保证。

一个可审查合同应写出输入由哪些角色消息组成，输出哪些 token 计损失，任务和语言分布，允许或禁止行为，标注者指南，模型可用工具和知识截止，以及独立评价切片。若目标只奖励流畅格式，模型可能更会包装错误；若偏好数据多来自短问答，长规划和多轮纠错不能由同一指标自动推断。

本章使用的论文资源描述了一个具体流程：收集人工示范做监督微调，收集模型输出的人工比较训练奖励模型，再用该奖励信号优化策略。它支持该流程和其报告范围，不意味着所有后续直接偏好方法都来自同一论文，也不为任意部署场景提供普遍保证。

监督指令微调学习示范条件分布

监督指令微调数据通常包含指令 $x$ 与目标响应 $y=(y_1,\ldots,y_T)$。模型以教师强制最小化回答 token 的负对数似然：

常见实现让提示 token 进入上下文却不计回答损失，避免训练目标主要消耗在复述用户输入；若也训练提示建模，必须另行说明。多轮数据还要明确每个 assistant 段是否计分、system 指令如何拼接、被截断回答是否保留 EOS。格式模板的特殊 token 版本也是模型合同的一部分。

SFT 主要做行为克隆：它让模型在训练分布上接近示范者写法。示范覆盖少时，模型会在新任务上依赖预训练能力和相似模式；示范自身若有事实错误、冗长偏好或互相冲突，交叉熵会忠实学习这些差异。高质量不是单一流畅分数，而要包含任务正确、证据、格式、拒绝边界和多语言一致性。

上下文学习不更新参数

上下文学习把任务说明和若干示例放入当前提示，模型权重保持不变。零样本只有说明，少样本再给输入—输出示范。它与 SFT 的区别在于适配发生在一次前向条件化中，而非梯度更新；换提示后行为可立即改变，也更容易受措辞、示例顺序、标签名称和无关文本影响。

示例应来自评价协议允许的数据。若把测试题答案、同源改写或标签映射泄漏进提示，所谓上下文泛化只是复制。比较零样本与少样本时要固定 token 预算、示例选择器和顺序种子，并在多个等价提示模板上报告波动。长示例还会挤占用户输入和模型输出的上下文空间。

偏好数据记录比较，不记录绝对真理

对同一提示 $x$ 生成两个或多个候选响应，让标注者选择更符合准则的响应。成对记录写为 $(x,y^+,y^-)$。一个常见奖励模型为响应输出标量 $r_\phi(x,y)$，并用 Bradley–Terry 形式建模

对应损失为正确排序概率的负对数。标量分数只有相对差有意义，加同一个常数不改变概率。奖励模型学习的是数据中标注规则、候选分布和标注者群体的代理；若候选都很差，“较好”不等于可接受，若两项近似相同，强行硬标签会放大噪声。

候选生成策略决定奖励模型看到什么。只比较早期模型的短回答，奖励模型可能无法评价后续策略产生的长格式或新语言。按提示主题、风险、长度、语言和难度分层采样，保留候选生成版本，并把标注者身份匿名化记录到可做一致性分析的层级，才能诊断分布偏移。

标注者差异不是都能压成噪声

偏好可能来自事实正确、简洁、礼貌、帮助性、风险容忍或文化规范，多项准则会冲突。多数票把群体分歧压成一个标签，可能删除少数但有依据的观点。应提供具体指南和例题，允许“都不可接受”“近似并列”和理由标签，并报告总体与分组一致性。

领域任务还需要有资质标注者。普通语言偏好不能替代医学、法律或安全判断。标注支付、时间压力、界面顺序和候选长度也会形成偏差；盲化模型身份、随机左右顺序和设置质量复核能减少部分影响，却不能消除价值多样性。

奖励模型驱动策略优化

有了奖励模型，可让策略 $\pi_\theta(y\mid x)$ 生成响应并提高预测奖励。为避免策略迅速偏离一个参考模型，概念目标常写成

第一项鼓励奖励，第二项惩罚过度偏离参考分布。论文资源中的具体流程使用策略优化方法在学习奖励下更新模型；本式是理解代理奖励与参考约束的概念化表达，不替代论文全部工程细节。

KL 约束不能证明行为安全，只限制分布移动。$\beta$ 过大可能几乎不适配，过小则更易找到奖励模型漏洞。奖励模型在原候选分布上准确，也不保证在优化后策略分布上可靠，因为策略会主动寻找高分区域。

直接偏好目标折叠了中间步骤

分离流程先训练奖励模型，再用它对策略生成样本评分并做策略优化。直接偏好目标则在某些建模假设下，直接用 $(x,y^+,y^-)$ 更新策略，使首选响应相对参考策略的得分高于非首选响应，不必在训练流程中单独部署一个奖励模型。一个概念化成对形式是

其中可令 $s_\theta(x,y)=\log\pi_\theta(y\mid x)-\log\pi_{\mathrm{ref}}(y\mid x)$。具体方法对长度归约、参考模型、温度和概率关系的推导不同；本章只说明概念关系，不把这一示意式冒充某一近期方法的完整算法。

两条路线都依赖同一核心证据：哪些候选被比较、谁在什么准则下偏好哪一个。直接目标省去显式奖励模型接口，不会消除标签偏差；分离奖励模型便于单独审计，却会在策略优化后面对分布迁移。两者都不是人类价值函数的无偏测量。

目标错位会在优化中被放大

代理奖励容易偏好可见形式，如长度、肯定语气、固定拒绝模板或引用数量，而忽视事实、相关性和真实风险。策略优化会搜索这些相关性，形成奖励投机。过度迎合用户前提、无证据自信、无差别拒绝和冗长重复都可能在某种标注准则下短期得分，却损害实际用途。

缓解需要多层证据：改进标注准则和候选覆盖，加入“都不合格”数据，按风险分层训练与评价；用事实核查、任务执行、约束违规和分布外提示独立测量；对高风险动作设置系统级权限和人工复核。重新加权奖励只是模型变更，不能替代产品和治理边界。

偏好优化也可能损伤基础能力。应保留预训练似然、通用任务、多语言、长上下文、校准和拒绝准确性的回归集。一个总体人类胜率无法说明是帮助性提高、风格变化还是对某类提示过拟合。

数据污染与评价泄漏

指令数据常由公开任务改写、人工示范和模型生成混合而来。若训练提示与测试题同源，或奖励标注者看过测试答案，评价就不独立。应按来源、任务族、时间和实体划分，再做精确及近重复搜索；模板相同但数字替换的题目需要结构化去重。

人类评价应盲化模型身份、随机左右顺序、固定采样参数并预先定义准则。评价提示不能用于反复选择训练轮次、KL 系数或提示模板；否则测试集已成为验证集。自动评审模型可能偏好与自己风格相近、较长或位置靠前的答案，需要用人工校准集和反转顺序检查，不能当作客观真值。

报告至少分开任务正确率、格式遵循、事实证据、恰当拒绝、过度拒绝、偏好胜率和最坏切片。对话还要评价多轮一致性和错误恢复。所有指标都只支持其采样人群、提示分布和工具权限下的结论。

三个常见误区

第一，“监督指令微调等于模型理解了所有新任务”。它学习示范条件分布，覆盖之外仍依赖预训练和提示相似性。

第二，“多数偏好就是统一的人类价值”。偏好受准则、专业知识、群体和界面影响，分歧可能是实质差异而非噪声。

第三，“偏好优化后得分高就获得安全保证”。奖励是代理，策略会改变分布并利用漏洞；安全还需要独立约束、风险评价和治理。

练习

关系与资源

• 语言建模与规模规律 提供基础策略的 token 概率与数据边界。
• 策略梯度与 actor–critic 支持奖励驱动的策略更新。
• 训练、验证、测试与数据泄漏 约束指令和偏好数据隔离。
• 对齐目标与奖励建模 继续分析代理目标和奖励投机。
• 大模型智能体综合复习 将适配模型放入完整系统评价。