A13 · 第 6 章 · 第三编 对齐与安全综合复习
安全评测、系统边界与治理综合复习
以工业视觉质检和维护分流系统贯穿归因与机制证据、概率校准、分布外拒绝、威胁模型和对齐代理，并把使用情境、风险登记、责任、证据等级、残余风险、发布门槛和持续监测组织成可追踪决策。
报告页面错误本章目标
- 为具体系统画出数据、模型、工具、用户、受影响者和决策责任边界。
- 把归因、机制干预、校准、OOD 和攻击结果按主张与证据强度组织。
- 写出含危害、原因、暴露、后果、控制、责任人、证据和残余风险的登记项。
- 区分技术评测、发布授权、组织治理和框架使用，不把框架写成认证。
- 设计带阈值、回退、事件响应、版本变更和持续监测的生命周期门禁。
本页目录
贯穿系统：视觉质检只提出分流建议
工厂相机拍摄零件表面，模型输出缺陷类别、置信度和可视化解释；系统结合工单与设备信息，建议“继续生产、人工复检或暂停并报修”。高影响动作由经授权的质量人员确认，硬件联锁和法定检查不由模型关闭。
边界图至少包含：相机、照明和采集软件；预处理与模型版本；训练、校准和评价数据；操作员界面；工单工具；人工复检；设备控制；日志和监控；供应商更新。用户有操作员、质量工程师和维护人员，受影响者还包括一线工人和产品使用者。只画神经网络会漏掉主要风险。
系统目标也要分层：模型识别图像模式，界面表达不确定性，工作流按权限分流，组织决定质量和安全责任。模型准确率不能代表整个工作流安全，人工在环也不能在界面超载、培训不足或责任含糊时自动兜底。
使用情境决定风险，不从模型名称推出
同一缺陷分类器可用于离线研究、操作员参考或自动停机，后果和控制完全不同。先写决策对象、作用速度、可逆性、暴露人数、故障严重性、人工反应时间、现有保护和适用法规。缺少情境时，“高风险”或“安全”都没有可审查含义。
数据代表性也由情境定义。相机型号、镜头污染、材料批次、照明、班次和新缺陷会改变输入分布。训练集没有某种裂纹，不表示它在现实不可能；系统应把未知和低质量图像导向复检，而不是强制归入已知类。
风险登记把危害连接到控制
每个风险项记录：唯一 ID、使用情境、危害事件、触发原因、暴露路径、受影响者、后果、现有控制、检测方法、证据、责任人、残余风险、接受或升级人、复查日期和变更触发。概率和严重度若没有数据支持，应标为定性或区间，不能用任意乘法制造精确数字。
风险 R1 是“新相机下裂纹被判为无缺陷并进入继续生产队列”。原因包括色彩响应改变、校准失效和 OOD 阈值未触发；后果是缺陷件未复检。现有控制为输入质量检查、相机版本允许表、低置信或 OOD 转人工、定期抽检和独立硬件检测。
证据包括按相机分组的留出评价、校准曲线、OOD 工作点、抽检记录和故障注入。残余风险是已知检测器仍可能漏掉与训练分布相似的新缺陷。责任人分别是数据负责人、模型负责人、质量负责人和发布批准人；任一相机或阈值变化触发重新评价。登记不是写下风险后自动接受它。
风险登记需要版本和状态：开放、缓解中、接受、转移或关闭。关闭必须附证据和批准，不能因测试一次未复现就删除。多个控制可能依赖同一相机或日志，不能假装完全独立。
归因回答模型局部行为，不回答规范正当性
显著性、扰动和 SHAP 类方法可指出当前输出对哪些输入区域或特征敏感。它们依赖输出标量、基线和缺失特征分布；相关背景也可能获得高归因。忠实归因只说明模型怎样使用输入，不说明该使用合理、因果或公平。
模型把裂纹判为高风险，热图集中在零件角落的批次标贴而非裂纹。第一步用遮挡和匹配背景替换标贴，若 logit 明显下降，说明输出依赖该区域；第二步保持裂纹不变、随机交换标贴，检查预测是否随标贴变化；第三步按批次重新拆分评价。
若内部探针能读出批次，也只说明信息存在。还需消融或替换候选通路，观察裂纹判断是否按预言改变，并在不同批次复现。即便确定模型使用标贴，是否禁止该特征仍由任务和风险决定，归因图不能作治理裁决。
机制证据应写成可证伪主张：“组件 C 在分布 D 的行为 B 中必要或部分充分”。激活相关、线性探针、消融、patch 和组合干预强度不同。单神经元故事受多义特征、冗余和基底变化限制。内部解释不能证明没有其他危险路径。
校准把置信度接到决策阈值
模型置信度应在独立校准集上与经验正确率比较。可靠性图、NLL、Brier 和分箱 ECE 各有语义与有限样本局限。温度缩放可调整 logits 的尺度，通常不改变 argmax；它修正特定分布上的概率失配，不提高基础可分性，也不保证分布外仍校准。
仅为演示算式，取十个置信度都约为 的预测，其中六个正确。该箱平均置信度 、经验准确率 ，绝对校准差为 。若这个箱占全部样本，分箱 ECE 也是 。
这不表示每个样本都有可观察的二成错误概率，也不能说明其他相机或缺陷类别的校准。真实评价应按相机、类别和置信区间报告样本数，并用独立数据选温度和阈值。
选择性预测把低置信或高风险样本转人工。报告覆盖率—风险曲线、各群体拒绝率和人工负载。阈值降低可能减少自动漏检，却提高复检量；产线容量是系统约束。总体校准良好也可能在罕见严重缺陷上失效。
OOD 检测不是全能未知发现器
OOD 分数必须相对于已定义的分布外集合和工作点。新相机、严重模糊、未知材料和新缺陷是不同偏移，单一分数可能只检测部分。AUROC 是阈值无关排序摘要，部署还要在具体允许误报或漏报下报告检出率。
OOD 检测与错误检测不同：分布内也会错，分布外也可能偶然对。密度高不代表任务相关，置信低不等于 OOD。系统把图像质量、相机版本、表示分数和任务置信组合时，要在冻结验证集设规则，并监控各路触发。
未知样本进入人工队列后，还需标注、归因、模型更新和回滚流程。只拒绝而不学习，会让长期人工负载增长；自动把人工标签回流训练又可能引入污染，需数据审核和版本隔离。
威胁模型限定鲁棒结论
攻击者可能上传数字图像、在零件上贴标记、污染相机、修改工单或窃取查询接口。威胁模型写清目标、知识、查询次数、可修改对象、物理可实现性、时机和成功标准。随机噪声准确率不能替代自适应攻击。
快速梯度符号等方法展示特定范数集合下的一阶攻击思路，但像素范数不等于真实物理变化。防御评价应使用知道防御机制的自适应攻击、多起点、攻击并集和物理测试，并检查梯度遮蔽。某个攻击失败只说明在给定预算和实现下未找到，不证明不存在攻击。
数字场景中，攻击者能上传图像并获得类别分数，目标是让裂纹图进入无缺陷队列，预算为固定查询次数和像素约束。物理场景中，攻击者只能在零件非关键区域贴小标签，相机和照明固定。两者允许集合和可重复性不同。
数字防御通过白盒自适应攻击，不代表贴纸场景可靠；物理贴纸测试通过，也不代表接口无法被像素攻击。风险登记分别记录访问控制、文件验证、相机链路保护、图像质量、异常检测和人工抽检，不能合并成一个“鲁棒”复选框。
威胁还包括数据投毒、模型供应链、日志篡改和拒绝服务。安全测试需覆盖权限和系统依赖，而不只攻击分类器。红队发现是样本化证据，未发现不是无风险证明。
对齐目标也会产生系统代理
若操作员助手的奖励偏好“减少队列”，模型可能过度建议继续生产；若偏好“谨慎”，可能把所有样本送复检。偏好拟合代表反馈者和候选分布，不能替代质量标准。奖励模型分数、拒绝率和满意度都是代理。
按缺陷严重度、证据、用户角色和工具权限写行为规格。高影响动作由执行层审批；语言模型不能因高奖励越权停机或放行。监测代理分数与真实质量、人工覆盖和申诉是否分离，防止过优化。
反馈者差异需要治理：操作员关注吞吐，质量人员关注漏检，管理者关注停线成本，受影响者关注安全。不能只由最易采集反馈的一方定义目标。冲突要进入风险决策和责任分配。
证据等级让主张与验证相配
可在项目内定义证据梯度，但要说明它不是通用认证：
- E0：未经验证的设计主张或单样本观察；
- E1：可复现单元、合成或组件测试；
- E2：冻结协议下的受控留出与故障注入；
- E3：独立团队复核或受控真实环境试验；
- E4：限定版本和场景下的运行监测及事件记录。
等级不是简单从低到高替代。E3 真实试验可能样本少，E2 大规模测试可能覆盖更广；不同证据互补。每项安全主张都要关联测试、数据、版本、结果、限制、所有者和有效期。
主张是“新相机下低质量图像会转人工”。E1 用合成模糊验证质量阈值代码；E2 在冻结的新相机留出集上测触发与漏检；E3 由独立质量团队在受控产线试运行；E4 监控上线后的触发、人工确认和近失事件。
若 E2 只含常见材料，证据范围就排除罕见材料；E4 运行一周无事故也不能证明长期安全。发布决策应引用这些范围和缺口，而不是把最高等级写成认证章。
归因、机制、校准、OOD、攻击、对齐和运行监测分别支撑不同主张。把它们平均成单一安全分数会丢失不可替代的缺口。关键危害可以设置必须证据和硬门槛。
治理责任不能外包给评测
组织需明确系统负责人、数据负责人、模型负责人、安全与质量负责人、运营、事件响应、供应商管理和发布批准者。执行测试的人不应单独批准自己的高风险例外。操作员要有培训、申诉和无惩罚上报渠道。
NIST AI RMF 1.0 提供治理、情境映射、测量和管理的自愿风险管理框架。它可帮助组织提问和分配活动，不是产品安全认证，也不会指定某个指标阈值。声称“采用框架所以安全”把过程参考误写成结果。
技术评测不能决定可接受风险、法律义务、资源投入和受影响者补救。反过来，治理会议也不能替代可复现测试。两者通过风险登记、证据、责任和门槛连接。
残余风险必须由有权者明确接受
控制后仍可能漏检未知缺陷、校准漂移、遭遇未建模攻击或发生人工错误。残余风险记录其范围、不确定性、受影响者、监测和应急措施。不能写“低风险”而无证据，也不能把没有观察到的事件概率设为零。
接受、缓解、转移或停止使用是治理决策。高后果且证据不足时可保持人工主决策、缩小使用范围或不上线。接受记录包含批准人、理由、有效期和复审触发；版本、相机、材料或工作流变化会使旧接受失效。
成本收益不能让严重安全事件被平均吞掉。分别报告典型收益、最坏情境、分布不确定性和不可货币化影响。受影响者不等于只有采购模型的组织。
持续监测连接发布与事件响应
上线监测输入质量、相机和材料分布、类别与置信、校准代理、OOD、拒绝与复检、人工覆盖、缺陷漏检、近失、工具权限、延迟和攻击信号。阈值要对应动作：告警、自动转人工、回退模型、暂停使用或启动事件流程。
反馈标签有延迟和选择偏差：只有被复检的样本更容易获得真值。随机抽检和延迟结果回填用于估计自动放行区域。监控面板没有责任人、响应时限和回退权限，只是可视化。
事件响应保存输入、模型与数据版本、决策、解释、权限、人工动作和后果；先控制影响，再调查根因。修复后重跑相关评价和回归测试，并通知需要知情的利益相关者。近失和申诉也应进入改进，不只统计已造成损害的事故。
模型重训、阈值、校准器、预处理、相机、供应商库和界面都属于变更。按变更影响决定重新校准、攻击评估、操作培训和发布审批，不能只对权重文件做版本管理。
综合发布决策
发布包包括系统边界和使用情境、风险登记、数据与拆分、组件和端到端测试、威胁模型、对齐与权限、证据矩阵、未解决缺口、残余风险、责任批准、回滚和监测计划。关键门槛失败时，不以其他平均分抵消。
贯穿案例中，归因发现标贴捷径会触发数据和模型修复；校准与 OOD 决定转人工工作点；攻击评价限定输入威胁；对齐检查操作员助手是否奖励投机；治理决定谁可放行、何时停机和如何补救。它们共同支持一个有限情境决策，而非一份章节目录。
任何技术评测只证明给定版本、数据、威胁和协议下的观察；任何治理框架只组织活动。安全结论必须保留适用范围、证据缺口和残余风险。
练习
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
关系与资源
- 特征归因与反事实 提供局部敏感、基线与忠实性边界。
- 机制可解释性 提供探针、内部干预和电路证据层级。
- 校准与分布外检测 提供概率、拒绝和风险—覆盖协议。
- 鲁棒性与对抗攻击 提供威胁模型和自适应攻击边界。
- 对齐目标与奖励建模 提供反馈代理、过优化和拒答权衡。
Artificial Intelligence Risk Management Framework (AI RMF 1.0)
Elham Tabassi
用于把技术评测连接到情境化风险登记、责任和持续监测；它不是模型安全认证。
打开官方来源A Unified Approach to Interpreting Model Predictions
Scott M. Lundberg, Su-In Lee
用于核对 Shapley 归因公理、近似方法和计算限制，不把归因自动解释为因果效应。
打开官方来源On Calibration of Modern Neural Networks
Chuan Guo, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger
用于核对可靠性图、期望校准误差与温度缩放的定义和实验范围。
打开官方来源Explaining and Harnessing Adversarial Examples
Ian J. Goodfellow, Jonathon Shlens, Christian Szegedy
用于核对威胁模型、攻击构造和对抗训练的原始主张；不能替代自适应防御评估。
打开官方来源