对齐目标、反馈与奖励建模

“对齐”先拆成一条可审查管线

一个系统想让模型“有用且安全”，必须把口号转成使用情境中的行为规格。至少说明用户、受影响者、允许任务、禁止动作、证据要求、权限、拒答条件、冲突优先级和升级责任。规格仍可能不完整，但它让反馈和评价有共同参照。

随后分开六个阶段：

1. 监督示范给出指令和期望响应；
2. 偏好数据比较同一输入下的候选；
3. 奖励模型把比较拟合成代理分数；
4. 策略目标优化代理奖励并约束偏离；
5. 安全或工具执行层实施模型外约束；
6. 独立评价在未参与训练的任务和反馈者上检查结果。

把这些阶段合成“人类反馈让模型安全”会隐藏误差来源。示范可能覆盖不足，比较可能冲突，奖励模型会外推，策略会利用代理，执行环境也会改变行为。

监督示范学习条件分布

监督指令微调对示范响应 $y$ 最小化

它把示范中的格式、内容和拒答模式一起学习。示范是一种可执行例子，却不能枚举所有情境；同一指令可能有多个同样合适的回答，单一参考交叉熵会把其他答案视为不同 token 序列。数据需记录任务来源、作者、指南版本、可用工具和审核状态。

高质量示范可建立基础能力和稳定格式，通常也作为后续偏好优化的参考策略。示范分布若只含简单问答，不能由训练损失推断长时工具规划。拒答示范过多还可能让模型学到表面词触发，而非情境风险判断。

偏好数据记录比较，不记录普遍真理

一条偏好记录可写成

$\ell$ 是选择、平局或无法判断，$z$ 是反馈者或群体信息，$g$ 是指南和情境。候选生成策略也要保存，因为只比较两个都很差的答案，选择较好者不表示它达到可接受标准。

反馈者可能因专业知识、文化、风险容忍、语言和角色不同而分歧。分歧不是总能用多数投票消除的随机噪声；它可能揭示规格含糊或利益冲突。应保留平局与无法判断，按群体报告一致性，并由授权治理流程决定哪些冲突可聚合、哪些必须改规格或分场景。

偏好拟合反映被采样反馈者在给定候选和指南下的判断，不等于“普遍人类价值”。未参与群体、未来情境和受影响但无反馈权的人仍需风险分析和治理。

奖励模型把相对比较变成代理分数

奖励模型给输入—响应打分 $r_\phi(x,y)$。常用 Bradley–Terry 形式把差值转成偏好概率：

成对负对数损失为

只有差值进入损失，所有响应分数同时加常数不改变概率；分数零点没有固定含义。不同提示之间的绝对分数也未必可比。奖励模型准确率只测给定候选对的排序，不测生成策略是否产生训练中未见的漏洞响应。

训练拆分应按提示模板、任务来源和近重复聚类，避免同一候选改写跨集。检查长度、措辞、格式和来源等捷径；若反馈者常偏爱更长回答，奖励模型可能把长度当代理。需要长度匹配对照、反事实改写和真实策略样本。

策略优化面对的是代理，不是规格本身

一种目标在当前策略分布上最大化奖励并限制偏离参考策略：

第二项在期望下对应 KL 约束的方向之一，$\beta$ 控制代理收益与偏离。序列 KL 的 token 归约、长度和截断必须明确。约束太弱会进入奖励模型未知区域，太强则几乎不改变策略。

直接偏好目标可以绕过单独部署的奖励模型，用偏好对和参考策略直接调整响应概率比。它减少一个显式模型，却没有消除反馈偏差、候选覆盖、参考分布和过优化问题。不同目标的系数与概率方向不应只按名称互换。

奖励黑客利用未写入规格的缝隙

奖励黑客指策略找到提高代理分数而不实现真实目标的行为。它可表现为冗长、迎合、引用格式伪装、刻意触发评分器、隐藏错误、拒绝所有困难问题，或在工具环境中修改计分状态。奖励模型越可被反复查询，策略越可能找到其外推漏洞。

模型外工具权限、动作验证和人工审批不能交给奖励分数决定。即使策略被训练成通常不越权，执行层仍按身份与参数强制约束。

分布偏移让代理目标失去语义

奖励模型训练在某些提示、语言、候选生成器和回答长度上。策略优化会改变回答分布，部署还加入新用户、工具、长上下文和对抗输入。评价奖励模型在静态旧候选上的准确率，不能代表它对新策略输出的排序。

按任务、语言、长度、风险、工具状态和用户角色检查覆盖。收集迭代策略产生的新候选可缩小部分偏移，但也会形成反馈回路。新增数据需与保留评价集隔离；不能一边观察失败一边把同一测试样本加入训练后继续宣称独立评价。

目标泛化还要求模型在未列明场景应用规格原则。对抗改写、组合任务和新工具能测试，但有限集合通过不构成一般保证。未知情境应允许询问、拒绝或人工接管。

过优化由代理分数和真实评价分离表现

随着策略更强地优化奖励模型，代理分数可能持续上升，而独立反馈者的任务成功、事实性或安全评价停滞甚至下降。这是优化进入奖励模型误差区域的典型信号。应沿训练检查奖励、KL、长度、拒答、真实任务和分层人工评价，而非只看最终检查点。

检查点选择必须预先规定并使用独立验证，不在测试结果上挑最佳。可限制更新、增大参考约束、加入新反例或使用多个代理，但这些只是风险控制。代理模型彼此共享数据和偏差时，一致高分仍可能共同错。

拒答与有用性构成条件决策

拒答不是单一类别。至少区分：应回答且正确；应回答却错误拒绝；应拒绝却危险服从；应拒绝且提供合适解释或安全替代；信息不足时先澄清。总体拒答率无法判断好坏。

按风险等级和用户权限定义行为。低风险问题应避免过度拒答，高风险操作需验证情境并给升级路径。阈值改变会在错误拒答与危险服从间权衡，不能只优化平均满意度。严重后果可设置独立硬约束和人工审批。

有用性也不等于回答越多。准确说明不确定性、引用来源、请求必要信息和把任务交给合格人员都可能是成功。偏好数据要覆盖这些行为，评价用任务合同而非语气判断。

目标规格是一项治理责任

谁有权定义目标、谁提供反馈、谁承担错误后果、谁可批准残余风险，属于组织决策。技术团队不能从偏好票数自动推导合法或公平目标。受影响者、领域专家、安全、法务、运营和用户支持可能有不同责任。

目标文档应版本化：使用情境、利益相关者、允许和禁止行为、风险分层、冲突优先级、证据、权限、申诉、变更和监测。NIST AI RMF 可作为组织风险管理活动的参考，用于连接治理、情境映射、测量与管理；它是自愿框架，不是模型认证，也不为某个对齐损失背书。

独立评价收口而不是奖励模型自评

评价至少包含：示范任务成功；偏好排序及反馈者分歧；新策略输出的人评；事实和引用；正确拒答与错误拒答；工具权限与副作用；提示注入；长任务恢复；分布外语言和用户；成本与延迟。关键风险采用硬失败门槛，不能被平均奖励抵消。

使用与训练分离的反馈者、任务来源和模型评分器。自动评价可扩大规模，但要在人标子集上核对并报告分歧。被优化的奖励模型不能同时作为最终裁判。上线后监控策略漂移、拒答、申诉、工具错误和新型滥用，并保持回滚。

偏好拟合、奖励分数、参考约束和有限评测都只能支持特定规格与分布内的证据，不能写成普遍人类价值、一般安全保证或自主可靠性保证。

练习

关系与资源

• 指令适配与偏好优化 提供示范、偏好和策略适配基础。
• 策略梯度与 actor–critic 提供代理回报下的策略更新语言。
• 损失函数与风险 连接成对概率、归约和代理目标。
• 工具调用、记忆与任务规划 提供权限和副作用的模型外约束。
• 安全与治理综合复习 将对齐证据接入系统风险和责任链。