分布偏移、置信区间与不确定性

先分清波动与偏移

设训练环境的联合分布为 $P_{\mathrm{tr}}(X,Y)$，目标部署环境为 $P_{\mathrm{te}}(X,Y)$。即使两者完全相同，两次有限抽样得到的准确率、均方误差或校准曲线也不会完全一致，这叫抽样波动。置信区间处理的是给定抽样和建模条件下估计量的波动，不会证明两个环境同分布。

分布偏移则是生成机制发生系统变化，即 $P_{\mathrm{tr}}\ne P_{\mathrm{te}}$。样本量增大能缩小对当前评估分布性能的区间，却不能自动消除从旧环境到新环境的偏差。一个窄区间可以非常精确地估计错误目标。评估报告因此要同时回答：当前样本上的估计有多不确定，以及该样本是否代表实际部署时空、设备、用户和决策流程。

三种偏移来自不同因子

联合分布可以分解为

协变量偏移指 $P(X)$ 改变而 $P(Y\mid X)$ 保持不变。例如部署用户年龄结构变化，但在同样特征下标签机制稳定。标签偏移指 $P(Y)$ 改变而 $P(X\mid Y)$ 保持不变，例如疾病患病率改变，但每种疾病状态下的检测特征分布稳定。概念偏移指 $P(Y\mid X)$ 改变，例如相同交易模式因欺诈策略演化而对应不同风险。

这些名称是带假设的模型，不是仅凭无标签输入就能可靠识别的事实。$P(X)$ 改变容易由无标签样本发现，却不一定影响决策边界；$P(X)$ 看似稳定也可能掩盖条件机制变化。标签偏移与概念偏移通常需要延迟标签、审计样本或外部知识区分。多种偏移还可同时发生，不能强迫现实只属于一个格子。

分组评估暴露平均数遮住的风险

总体指标是各环境和人群的加权平均。当组占比变化时，即使每组性能不变，总体指标也会改变；反过来，总体稳定也可能由一个组变好、另一个组变坏抵消。分组应由部署风险、数据生成机制和可能失效通道预先确定，例如设备、地区、时间、语言、负载区间与关键人群，而不是结果出来后搜索最显著切片。

每组报告样本量、标签率、主要指标、区间和阈值条件。小组区间会很宽，应保留不确定性而不是隐藏。多个探索分组还会产生选择性发现，需明确探索性质或控制多重性。组定义使用处理前或预测时可得信息；用模型错误本身定义组，只是在重述结果。

重采样必须复现独立单位

非参数 bootstrap 从观测到的独立单位中有放回抽取与原样本同样多的单位，每次重新计算完整统计量，重复许多次后用重采样分布估计标准误或百分位区间。若用户是独立单位、每个用户有多条事件，就应整用户重抽；逐事件抽取会打散用户内相关并使区间过窄。站点或班级随机时同理重抽集群。

普通 bootstrap 假设观测单位近似同分布。时间序列存在自相关时，可重抽连续时间块或按滚动窗口评估；空间网络存在依赖时要保留相应群组。极小样本、强偏态、边界参数和稀有事件下，简单百分位区间覆盖可能较差，应报告方法限制并做替代区间或模拟核对。

重复随机切分回答的是另一问题：在指定数据集上改变训练、验证划分并重新训练，量化切分与训练过程共同造成的波动。各次结果共享大量样本，不能把它们当完全独立实验。若模型和超参数由这些切分选择，最终性能仍需未参与选择的测试集或嵌套评估。

校准、排序与阈值是三层问题

概率模型的区分能力描述能否把高风险样本排在低风险样本前；校准描述预测概率与实际频率是否一致。若所有预测约为 $0.8$ 的样本中约百分之八十为正，才称该区域校准。可靠性图应同时显示每箱样本量，分箱误差会受分箱规则影响；对数损失和 Brier 分数提供不依赖单一阈值的概率质量度量。

决策阈值把概率变为动作。若假阳性代价为 $C_{\mathrm{FP}}$、假阴性代价为 $C_{\mathrm{FN}}$，在概率校准且代价定义一致时，可比较采取两动作的条件期望代价选阈值。类别比例、代价、容量和校准变化都会使旧阈值失效。重新校准可修正概率尺度，却不必然恢复排序；阈值调整可改变混淆矩阵，却不修复输入支持外的错误。

重要性加权依赖可检验不了的稳定性

协变量偏移假设下，若目标分布支持集包含在训练分布支持集内，可把目标风险写成

权重 $w(X)$ 可用密度比或区分训练、目标来源的分类器估计。前提是 $P(Y\mid X)$ 稳定且重叠充分。若某区域目标概率为正而训练概率为零，权重无从定义，数据不能告诉模型该区真实损失。很大的权重还会使方差暴涨；截断或平滑降低方差却引入偏差，应报告有效样本量与敏感性。

标签偏移可在 $P(X\mid Y)$ 稳定时按类别先验比加权，但需要可识别的混淆结构。概念偏移没有仅靠重加权输入就普遍修复的方法，通常需要新标签、模型更新或改变决策范围。

外推边界应成为系统接口

部署前记录训练和验证覆盖的时间、设备、地域、特征范围和缺失模式。线上同时监控输入分布、预测分布、校准代理、延迟标签性能与关键分组，并区分数据管道故障和真实行为变化。监控阈值应由风险和历史波动设定，而不是对每个微小统计差异报警。

当输入落在缺少支持的区域，诚实动作可以是拒绝预测、返回更宽不确定性、请求人工复核或进入受控数据收集。没有目标标签时，漂移分数只能说明“不同”，不能证明性能下降；有标签但选择性获得时，也要审查标签机制。外推能力需要来自结构假设和新环境证据，不来自模型输出的小数位数。

练习

关系与资源

• 分类、回归指标与基线 提供固定指标、阈值和分组报告基础。
• 抽样分布 解释估计量在重复样本中的波动。
• 置信区间 提供区间覆盖与解释边界。
• 训练、验证、测试与数据泄漏 限制校准、阈值选择和最终评估的信息使用。
• 校准与分布外检测 延伸拒绝机制和分布外诊断。
• 机器学习问题与评估综合复习 将偏移证据纳入部署决策。