A02 / undergraduate

核方法、树模型与集成学习

核方法、树模型与集成学习围绕第一编 核方法、第二编 树模型、第三编 Boosting 与综合复习建立连续章节顺序。

结构
3 编 · 6
适合读者
适合已具备基础代数与函数知识、希望完成本科层次系统学习的读者。
开始本册

BEFORE READING

先修与记号

本册对象

研究核技巧、支持向量机、决策树、随机森林和 boosting。

先修教材

符号约定

  • 本册在首次使用时定义核方法、树模型与集成学习专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

CONTENTS

完整目录

PART 01

第一编 核方法

第一编 核方法组织特征映射、正定核与再生核空间、最大间隔与支持向量机,形成连续的学习单元。

  1. 01

    特征映射、正定核与再生核空间

    从内积特征映射建立正定核与 Gram 矩阵,解释核技巧、再生性质和核选择的适用边界。

    阅读本章
  2. 02

    最大间隔与支持向量机

    由几何间隔和软间隔优化推导支持向量机,对偶化后使用核函数,并分析正则参数、尺度与类别重叠。

    阅读本章
PART 02

第二编 树模型

第二编 树模型组织决策树、划分准则与剪枝、随机森林与袋装集成,形成连续的学习单元。

  1. 03

    决策树、划分准则与剪枝

    通过递归划分和不纯度下降构建分类回归树,分析停止、剪枝、缺失值处理和树模型的不稳定性。

    阅读本章
  2. 04

    随机森林与袋装集成

    用 bootstrap 样本和随机特征去相关多棵树,通过袋外估计评估泛化并解释特征重要度的偏差。

    阅读本章
PART 03

第三编 Boosting 与综合复习

第三编 Boosting 与综合复习组织AdaBoost、梯度提升与残差拟合、核方法、树模型与集成学习综合复习,形成连续的学习单元。

  1. 05

    AdaBoost、梯度提升与残差拟合

    把弱学习器逐步组合为加法模型,比较 AdaBoost 权重更新与函数空间梯度下降,并分析学习率、深度与过拟合。

    阅读本章
  2. 06

    核方法、树模型与集成学习综合复习

    比较核方法、单树、袋装与提升在归纳偏置、复杂度、校准、解释和计算成本上的差异。

    阅读本章

综合练习

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

相关教材