核方法、树模型与集成学习综合复习

先把模型选择写成约束问题

模型族不能只按测试榜单排序。先写任务单位、样本依赖、特征类型、标签噪声、决策代价和部署分布，再给训练内存、重训时限、模型大小、单次或批量推理延迟、概率需求、缺失机制和解释对象。只有在这些硬约束内，交叉验证分数才决定候选优先级。

核方法、树与集成的差异来自它们如何表达“相似”和“局部结构”。核模型先规定输入间内积或相似度，再在相应函数空间控制范数；树用一系列条件把空间切成区域；森林平均许多受扰动分区；提升逐轮添加能修正当前错误的分区。没有一个偏置对所有数据占优，尺度、表示和目标改变会改变比较。

公平协议要求相同的训练、验证、测试实体，相同主指标和成本约束。每个模型可以有适合自己的预处理与超参数搜索，但搜索预算和选择规则要公开；给一个模型精细调参、另一个只用不合适默认值，不是模型族比较。

核方法偏好由相似度定义的平滑函数

核 $k(x,z)$ 隐式或显式定义特征空间内积。线性核偏好原特征中的线性边界；多项式核加入有限阶交互；RBF 核让距离较近的点具有高相似度，核宽度决定“近”的尺度。宽度过大时许多点看起来相似，边界过平；宽度过小时 Gram 矩阵接近单位阵，模型容易围绕单点变化。特征缩放会直接改变距离，必须只在训练折拟合。

固定有效核和正则参数后，软间隔 SVM 求凸优化问题，可以得到全局最优目标值；这不代表核宽度、正则强度或数据表示也被全局选择。SVM 决策由支持向量展开，边界附近或违反间隔的样本决定模型。线性 SVM 在高维稀疏文本上可以使用专门的原始或对偶算法，不应与必须存完整 Gram 矩阵的非线性核实现混为一谈。

核的平滑是相对于所选度量。若欧氏距离不能表达业务相似性，RBF 的数学平滑也可能毫无语义。核组合可以编码领域结构，但每个核都要满足正半定条件，并在无泄漏验证中选择。

单树用局部规则换来高方差

决策树贪心选择不纯度或误差下降最大的划分，叶内给常数预测。连续特征的次序通常比尺度更重要，因此树不要求标准化；轴对齐划分能自然表达阈值和特征交互。单棵浅树路径易读、预测快，却可能有高偏差；深树能贴合复杂区域，但一次样本扰动可能改变根节点和整棵结构，方差很高。

所谓“可解释”要限定。路径说明模型在该输入上经过哪些条件，不证明这些特征导致结果。相关特征可互相替代，五个训练折可能选出不同根节点；高基数类别又可能获得更多候选划分机会。剪枝、叶样本和验证稳定性必须与树图一起报告。

树对训练范围外通常作叶常数外推。回归任务若需要遵循已知光滑趋势或物理边界，单树和树集成都不会自动满足；核模型也只按核偏置外推，并非自动正确。

随机森林与提升解决不同误差来源

随机森林对 bootstrap 样本训练深树，并在每个节点随机限制候选特征。树之间差异越大且单树仍有信号，平均越能降低方差。各树可独立训练，适合并行；袋外预测提供内部诊断，但若群组抽样、预处理或调参使用不当，不能替代锁定测试。增加树数通常让蒙特卡洛波动趋稳，却不会消除共同偏差。

AdaBoost 顺序提高错分和低间隔样本权重，优化指数损失；它可用树桩形成加权投票，但对错标和难以预测离群点敏感。梯度提升在给定损失下拟合负梯度或伪残差，浅树逐步降低偏差，能选择回归、分类或鲁棒损失。学习率、深度和轮数共同控制容量，验证早停限定实际模型。

森林主要通过“许多受扰动的强树取平均”降方差，提升主要通过“后树修正前树”逐步降损失。前者跨树并行且常需较多大树，后者轮间串行但浅树可能更紧凑。二者都不是自动校准概率，也都可能在分布外给出自信结果。

优化保证不能跨模型族比较

固定核 SVM 的凸性保证其既定目标可全局优化，却不保证测试风险最小。树生长是离散贪心搜索，局部最佳根划分不保证给定叶数下全局最佳；剪枝只在已生成子树序列中选择。随机森林不求一个统一全局目标，而是聚合随机树。AdaBoost 和梯度提升执行逐方向加法优化，每轮方向受基学习器族限制，也非任意函数空间全局最优。

因此“训练收敛”只说明某个目标和搜索过程，不等于解决模型选择。核宽度、正则参数、树深、候选特征数、学习率、轮数和损失都要在开发数据选择；测试只评价冻结管线。比较应同时报告优化失败、超时和内存退出，不能只保留成功配置。

样本规模和支持结构决定计算边界

完整核方法需要 $n\times n$ Gram 矩阵，存储为 $O(n^2)$；通用求解时间可能更高，取决于求解器、条件性和支持向量。RBF SVM 推理还要对每个支持向量计算核，成本约随支持向量数和输入维数增长。核近似或分块求解能改变成本与模型，需要作为另一方案验证，不能仍声称执行了精确完整核算法。

单树预测成本约为路径深度。森林用 $B$ 棵树时，模型大小和推理节点访问大致随 $B$ 增长；训练可跨树并行。提升用 $M$ 棵树时推理同样累加路径，但训练轮次串行依赖。实际树构建复杂度受候选阈值、直方图、稀疏性、类别处理和硬件影响，不能用一个渐近式替代基准测试。

缺失、类别和尺度必须进入同一管线

经典核与 SVM 需要有限数值向量，通常先在每个训练折拟合填补、标准化和类别编码，再冻结应用于验证或测试。缺失指示变量可保留“为什么缺失”的信号，但若缺失发生在结果之后仍会目标泄漏。高维独热编码适合稀疏线性方法，RBF 距离在大量稀疏类别维上未必有合理语义。

树是否原生处理缺失取决于实现：有的学习默认方向，有的使用代理划分，有的必须填补。类别特征也可能被独热、排序或专用划分处理。不能把“树天然处理任何缺失和类别”当作族级保证。目标编码、缺失默认方向和类别统计只能用训练折标签拟合。

为公平比较，可以定义共同的基本质量规则，再为每个候选建立自己的合法预处理。核管线保存标准化状态；树管线可比较训练折填补与经验证的原生缺失策略。所有版本使用同一实体切分和同一原始字段可用时点。

概率、阈值和不确定性需要额外证据

SVM 间隔是排序和决策分数，不是概率；单树叶比例在小叶中可能极端，森林平均叶概率也可能偏置，AdaBoost 分数来自指数损失，梯度提升即便使用对数损失也会受收缩、子采样和类别权重影响。需要概率时，在独立或交叉拟合数据上检查对数损失、Brier 分数与可靠性，再训练校准映射；测试评估冻结后的模型、校准器和阈值。

阈值按误报、漏报和处理容量选择，不随模型族固定为二分之一。类别重采样或权重改变训练先验后，尤其要在真实流行率验证集重查校准。ROC 或 PR 排序优秀不保证概率可靠，也不保证某个操作点满足容量。

这些模型都不自动提供完整预测不确定性。森林各树的离散程度不是通用置信区间，因为树共享训练数据且随机化机制有限；交叉验证波动也不是单样本预测区间。性能不确定度应按独立实体重采样，预测区间或集合需采用明确的分位数、重采样或覆盖方法，并验证假设与覆盖率。

解释要检查稳定性而不是只画重要度

浅单树可逐路径审阅，但对样本扰动敏感。线性 SVM 权重只有在特征尺度和相关性明确时可比较；非线性核展开由支持向量共同决定，难压缩成一条全局规则。森林和提升的分裂重要度偏好候选多或可多次切分的特征，相关特征会分摊或互相替代重要性。

置换重要度应在独立数据上计算，并说明相关特征被单独打乱是否产生不现实组合。局部贡献、部分依赖和规则提取描述模型关联，不证明干预因果。可在重采样或时间窗口上重复解释，报告符号、排序和根路径是否稳定；若解释随轻微扰动翻转，就不应写成确定机制。

综合选择：先排除不可能，再比较可行候选

考虑一个示例工业告警任务：三十万条按设备分组的训练记录、六十个表格特征、百分之十二缺失、少量争议标签；每天在十六 GB 内存 CPU 机器重训。部署要求模型不超过十 MB、单条九十九分位延迟低于两毫秒，输出经校准风险，并在固定告警容量下达到召回门槛。

一条可复核的模型选择路径

先以线性模型、浅树和任务基线建立最低参照，再根据结构加入核、森林或提升。对每个候选记录表示、预处理、目标、超参数空间和资源上限；先执行内存与延迟可行性检查，再做分组或时间验证。选择指标同时包含预测效用、校准、训练失败率、大小和尾延迟，而不是把部署约束留到最后。

最终报告展示为何某些方案被硬约束排除、为何某些只在验证中落后、哪些结论对随机种子或群组稳定。测试集只评价冻结模型与校准器。上线后监测缺失率、分数分布、校准和分组结果；任何模型族在分布变化后都可能失效。

练习

关系与资源

• 特征映射、正定核与再生核空间
• 最大间隔与支持向量机
• 决策树、划分准则与剪枝
• 随机森林与袋装集成
• AdaBoost、梯度提升与残差拟合

Stanford CS229 课程材料用于核对核方法、最大间隔、决策树与提升的监督学习基础。综合选择还必须以具体实现测量训练、内存和推理成本，并在无泄漏验证上审查校准、解释稳定性和分组边界。