随机森林与袋装集成

袋装法先让每棵树看见不同样本

给定 $n$ 个独立训练单位，一次标准 bootstrap 有放回抽取 $n$ 次，得到一棵树的袋内样本。某个单位一次未被抽中的概率为

因此每棵树平均约有百分之六十三点二的不同训练单位，重复抽中的单位带有更大频数；其余约百分之三十六点八是该树的袋外观测。对许多 bootstrap 样本训练深树，再平均预测，称为袋装。树对样本扰动敏感，正好为聚合提供差异。

bootstrap 单位必须匹配独立结构。患者有多次记录时应整患者抽取，站点或时间块存在依赖时要按相应群组采样；逐行抽会让同一实体同时进入一棵树的袋内和袋外，产生泄漏。类别极不平衡时可采用分层或类别重采样，但这会改变训练先验，概率输出需要重新检查。

随机森林还在每个节点随机限制特征

普通袋装树在每个节点都检查全部 $p$ 个特征。若一个强特征几乎总在根部胜出，各树即使样本不同也会形成相似结构，相关性很高。随机森林在每个节点随机抽取 $m$ 个候选特征，只在该子集中选择最佳划分。不同节点和不同树重新抽取，弱一些但互补的特征有机会进入。

$m$ 较小通常降低树间相关，却可能让单树错过强信号、提高单树偏差或方差；$m$ 较大增强单树，但增加相关性。分类常见平方根量级、回归常见三分之一只是经验起点，不是定理，应在训练验证协议中与叶规模、样本量和稀疏性共同选择。

随机性有两个层次：样本重采样改变观察集，特征子采样改变候选划分。保存随机种子可以复现具体森林，但性能区间仍应以数据独立单位为重采样层级，不能把不同种子当成新的独立测试样本。

聚合能降多少方差取决于相关性

设 $B$ 棵回归树在某输入处具有相同方差 $\sigma^2$，任意两棵树预测相关系数近似为 $\rho$。平均预测的方差为

第二项随树数衰减，第一项是相关性留下的下限。增加树数可减少有限森林的蒙特卡洛波动，却无法消除所有树共同犯的偏差。特征子采样的价值正是以适度削弱单树为代价降低 $\rho$。

袋装主要降低不稳定学习器的方差，不会自动纠正系统偏差。若所有树都缺少关键特征、标签定义错误或训练分布不代表部署，平均只会稳定地给出同类错误。森林的泛化仍需独立评估和分组诊断。

分类与回归的聚合规则不同

回归森林通常平均每棵树的叶预测。分类可让每棵树投一个类别票，也可平均每棵树的类别概率。两者不完全相同：多数票给每棵树同等离散权重，概率平均保留叶内频率和置信程度。多分类时平均每类概率再取最大者能给出完整向量，但小叶频率、重采样先验和深树纯叶会影响校准。

概率阈值应在独立验证数据按代价和容量选择。森林排序很好不代表原始概率可靠，可做训练外校准，但校准数据不能再用于最终测试。类别权重或平衡 bootstrap 改变训练损失后，更要核对目标环境类比例。

袋外预测只使用没见过该单位的树

对训练单位 $i$，收集所有 bootstrap 中没有抽到 $i$ 的树，用这些树聚合得到袋外预测。每个单位平均约由百分之三十六点八的树预测；森林足够大时覆盖通常充分。把所有单位的袋外预测与真实标签比较，可获得无需单独验证划分的内部性能估计。

袋外估计依赖 bootstrap 与目标部署抽样相称。时间外推任务中，随机 bootstrap 会让未来记录参与训练、过去记录袋外，不能模拟向前预测；应改用时间验证。群组依赖也必须整组袋外。袋外不是天然免泄漏标签，目标编码、插补和特征筛选仍要限制在对应袋内流程。

不纯度重要度偏爱更多选择机会

不纯度下降重要度把某特征在所有树、所有使用该特征的节点上的加权训练增益相加或平均。它计算便宜，却继承划分选择偏差：连续特征或高基数类别有更多候选阈值，更容易偶然得到大下降；靠近树根、与其他强特征竞争胜出的变量也会获得较多信用。训练增益不是独立预测贡献，更不是因果效应。

相关特征会互相替代。若两个传感器几乎相同，某棵树选甲后就不需乙，不纯度信用可能随机集中到甲；另一次样本会反转。把“重要度为零”解释为无信息会遗漏这种竞争。

置换重要度度量破坏特征后的性能变化

在袋外或独立验证数据上，先计算基准指标，再随机打乱某特征并重新预测，指标恶化量作为置换重要度。置换应在独立单位层级进行，并在需要时保留时间、群组或分层结构。重复多次可显示置换随机性，但数据不确定性仍需更高层重采样。

普通置换会破坏特征与其他变量的相关关系，产生训练分布外组合。若甲与乙高度相关，单独打乱甲时乙可替代，重要度偏低；也可能因产生不现实组合而偏高。可报告特征组联合置换、条件置换或删除后重训的增量，但它们回答的问题不同，且都不自动是因果影响。

超参数限定偏差、相关性与成本

树数 $B$ 主要控制聚合的蒙特卡洛稳定性和计算成本，可画袋外或验证曲线选择平台点；更多树通常让平均更稳定，但内存和延迟线性增长。候选特征数 $m$ 控制单树强度与相关性。最大深度、最小叶样本和最小增益控制每棵树的局部方差、概率平滑和交互阶数。

bootstrap 样本大小和是否有放回改变树间差异；类别权重改变划分目标；最大叶数限制模型和延迟。超参数相互作用，不能孤立照搬默认值。小叶加小 $m$ 可能过度随机，大叶加大 $m$ 可能使各树高度相似。

训练成本约为树数乘单树成本，各树可并行但会争用内存带宽。预测成本约为 $O(Bd)$，其中 $d$ 是平均深度；批量实现、树压缩和早期退出会改变常数。生产评估应同时记录模型大小、单条与批量延迟、概率校准和分组性能。

练习

关系与资源

• 决策树、划分准则与剪枝 提供基学习器、叶预测和不稳定性来源。
• 概率论复习 支持重采样、相关和方差分析。
• 抽样分布 连接 bootstrap 与性能估计。
• 分类、回归指标与基线 约束袋外和独立评估指标。
• AdaBoost、梯度提升与残差拟合 对比并行降方差与串行降偏差集成。
• 核方法、树模型与集成学习综合复习 比较森林与其他非线性模型。