机器学习问题与评估综合复习

从谁要采取什么动作开始

机器学习项目首先是一项受信息约束的决策。问题定义应写清：在什么时点，对哪个单位，系统能看到哪些变量，预测什么结果，谁根据输出采取什么动作，错误的后果是什么。若没有动作，模型可能只是描述工具；若动作与训练标签不对应，再高的离线分数也不能证明有用。

例如“预测客户流失”还不够。应改为“每周一对仍在订阅的客户，用周一零点前可得行为预测未来三十天内主动取消的概率；对高风险客户提供有限数量的人工关怀，目标是增加净留存收益”。这一定义确定了预测时钟、合资格总体、观察窗、概率输出、处理容量和决策代价，也暴露出关怀本身会改变标签的因果反馈。

样本单位决定什么叫独立证据

一行数据不一定是一个独立样本。用户产生多次会话、患者有多次检查、设备有连续传感器窗口，这些记录共享稳定属性并相互依赖。独立单位通常应与部署决策和数据生成实体对应；可以在单位内汇总，也可以用保留层级结构的方法，但不能因行数很多就宣称样本量很大。

纳入和排除规则要以预测时可得信息执行。只保留后来完成随访的人，会让是否被纳入依赖未来；删除“异常失败”也可能直接删除难例。对重复单位，要规定一个单位出现在哪些切分中；对关联群组，还要考虑家庭、站点或同源内容跨集泄漏。

标签定义包含事件、来源、观察窗和删失。未来三十天无取消只有在至少观察三十天后才可确认；临近数据截止日的客户可能尚未获得完整标签。把他们直接标负会产生系统误标。人工标签还需记录指南、盲法、一致性与争议处理，代理标签则要说明它与真正决策目标的差距。

损失、指标与业务效用各有职责

训练损失为优化器提供逐样本信号，例如平方损失、绝对损失或对数损失。模型选择指标用于在验证数据上比较候选方案；报告指标向决策者表达性能；业务效用把预测经阈值和动作转成收益、成本或资源占用。四者可以相关但不必相同。

平方损失强烈惩罚大残差，适合大误差代价快速增长的回归；绝对损失更接近线性误差代价且对极端值较稳健。概率分类的对数损失评价整条概率分布，排序指标评价正例是否排在前面，准确率和召回率则依赖阈值。若模型只在固定容量下处理前一百个案例，前若干名中的命中数可能比全局准确率更贴近动作。

选择指标前要先写代价矩阵和约束。类别极不平衡时，总是预测多数类可有很高准确率；回归中只报相对误差会在真实值接近零时爆炸；概率模型只报受试者工作特征曲线面积不能说明概率是否校准。任何单一指标都只压缩部分信息。

数据切分模拟未来使用

训练集拟合参数，验证集选择模型、超参数、特征和阈值，测试集只在协议冻结后估计最终方案。每次依据测试结果修改系统，测试集就逐渐成为验证集。若需要多轮研发，应保留新的未触碰测试集，或用嵌套交叉验证让外层评估从不参与内层选择。

随机按行切分只适用于近似独立同分布记录。重复用户应按用户分组；未来部署应采用时间向前切分；站点泛化可留出整站；文本近重复和同一原始对象的增强样本应在同一侧。切分规则本身是部署假设，不能只为得到更高分选择。

预处理也属于模型。缺失值填充、标准化、特征筛选、降维、过采样和目标编码都必须只在当前训练折拟合，再应用于验证折。若先对全数据计算均值或挑选特征，验证信息已进入训练，即使标签列没有直接出现也会乐观偏差。

基线先回答模型是否值得存在

回归基线可预测训练集均值、中位数、上一时刻值或季节值；分类基线可用多数类、已知规则、固定概率或当前业务流程。强基线不是为了让模型难堪，而是把“学习了什么”与“问题本来就容易”分开。若复杂模型只比简单规则好极少，却更慢、更难校准和维护，增量效用可能为负。

基线必须使用相同输入截止、切分、样本和指标。把模型与使用未来信息的业务报表比较不公平，把新模型在新流量上的结果与旧系统历史平均直接比较也混入环境变化。应尽量在同一评估样本上做配对差并给区间。

分类、回归和概率证据要成套

二元分类先报告混淆矩阵的原始计数，再给精确率、召回率、特异度等阈值指标。排序能力可用受试者工作特征或精确率召回率曲线，但曲线面积不指定实际工作点。类别稀少且关心正例时，精确率召回率更直观；跨不同类比例比较精确率时要注明基线变化。

回归报告有单位的平均绝对误差、均方根误差或分位数损失，并画残差随预测值、时间和关键分组的结构。平均绝对误差描述典型绝对偏离，均方根误差对少数大错更敏感；二者不是谁普遍更好。概率预测还要报告对数损失或 Brier 分数与校准图，避免只凭排序选阈值。

阈值由代价、容量和概率质量共同决定。在验证集上选择后，应在测试集按冻结阈值报告。若部署类比例或代价改变，需要重新校准和决策分析，而不是直接复用旧阈值。

区间描述有限证据，分组检查失败边界

测试指标是估计量。应按独立单位构造区间：用户级任务重抽用户，站点部署重抽站点，时间依赖数据用相称的块或滚动评估。模型比较最好在同一单位上计算差值区间，因为共同难度可被配对消去。区间宽度反映当前样本精度，不包括未建模的部署漂移。

分组评估围绕已知风险通道：人群、设备、地区、时间、负载、标签来源和缺失模式。每组同时报告样本量、标签率、指标和区间；小组不确定性不能用总体样本量掩盖。探索很多切片时应披露搜索和多重性，确认性门槛应预先确定。

上线结论必须限定目标环境

模型通过独立测试后，还要比较训练、测试与预期部署分布，审查支持集、采集管道和动作反馈。协变量、标签或概念偏移会分别改变输入权重、类比例和条件规律。重要性加权只有在条件机制稳定且支持重叠时有意义；新区域没有训练支持时，应拒绝、人工复核或先收集数据。

上线计划要固定版本、特征合同、阈值、回滚条件和监控单位。无标签监控输入与预测分布，延迟标签到达后检查性能和校准；同时监控业务动作可能造成的选择性标签。警报触发后先区分数据管道故障、流量组成变化和条件性能退化，再决定重校准、改阈值或重训。

一份可审阅的最终协议

协议开头写决策合同和目标总体；随后写样本、标签窗、删失、特征截止和数据来源；再写实体或时间切分、全流程预处理、候选模型和超参数搜索。评估部分列出简单与业务基线、主要和安全指标、阈值选择、区间、分组与多重性。结尾限定适用环境、外推禁区、监控、回滚和再训练触发。

协议的价值不在篇幅，而在让另一位审阅者能够用相同原始数据复现每个纳入、转换、选择和结论。任何结果后改变都应留下版本与理由，并重新获得独立证据。

练习

关系与资源

• 监督学习问题定义 提供输入、标签、预测器与风险框架。
• 训练、验证、测试与数据泄漏 约束信息使用和选择流程。
• 损失函数与风险 连接训练目标与错误代价。
• 分类、回归指标与基线 组织模型增量证据。
• 分布偏移、置信区间与不确定性 限定区间和外推结论。
• 经验风险、容量与一致收敛 进一步解释训练选择与泛化证据的差异。