专题路线
从监督学习和线性分类进入损失、泛化、多层感知机与反向传播。
路线按阶段连续组织正文；章节原有教材位置和书内顺序保持不变。
比较回归、分类和评价指标的建模目标。
本章研究监督学习任务、样本与标签。内容依次处理样本、特征、标签与监督任务、训练分布、目标函数与经验风险、分类回归边界、基线与误差来源。
未开始本章研究线性回归、最小二乘与正规方程。内容依次处理线性模型、设计矩阵与残差、最小二乘正规方程与投影解释、可识别性、共线性与误差诊断。
未开始本章研究Logistic 回归与概率分类。内容依次处理对数几率、Sigmoid 与概率分类、交叉熵似然与梯度计算、决策阈值、校准与线性边界限制。
未开始本章研究损失函数、风险与评估。内容依次处理逐样本损失、经验风险与总体风险、回归损失、分类损失与概率解释、代理目标、指标错配与评估边界。
未开始区分经验风险、过拟合与正则化的作用。
分类、回归指标与基线根据任务代价选择评价量，构造可解释参照，并以区间、不平衡诊断和阈值曲线报告差异。
未开始本章研究过拟合、泛化与模型选择。内容依次处理训练误差、泛化误差与数据划分、模型容量、偏差方差与验证曲线、数据泄漏、分布偏移与选择偏差。
未开始本章研究正则化、偏差与方差。内容依次处理参数惩罚与约束优化的对应、L1、L2 正则化与解的几何、正则强度选择、偏差方差与失效情形。
未开始经验风险、容量与一致收敛：从经验风险与真实风险差异进入假设类容量、集中界和一致收敛，解释结构风险最小化及泛化界的条件与局限。
未开始沿计算图推导多层网络的反向梯度。
本章研究感知机与多层感知器。内容依次处理感知机判别函数与线性可分性、隐藏层、仿射变换与非线性组合、网络宽度、决策边界与 XOR 反例。
未开始本章研究激活函数与非线性表示。内容依次处理Sigmoid、tanh 与饱和梯度、ReLU 族的分段线性结构、激活尺度、初始化与可训练性。
未开始计算图、链式法则与局部导数：把复合函数表示为有向无环图，沿拓扑序计算前向值，并用局部 Jacobian 和链式法则组织导数。
未开始本章研究反向传播与反向模式自动微分。内容依次处理计算图、局部导数与链式法则、反向模式的伴随量与梯度累积、有限差分核验、不可导点与数值稳定性。
未开始完成指定教材章节后，用自己的推导回答；检查点不替代正文证明。
为回归和二分类分别选择输出解释、损失函数与评价指标。
为两层感知机画出计算图并逐节点计算局部导数。
先独立作答，再展开提示与分步解答；每题附可重复的结果核验。
难度 2/5
同一数据划分上，三种多项式模型的（训练误差，验证误差）分别为：1 次 (4.2,4.8)、3 次 (1.1,1.5)、9 次 (0.1,4.9)。选择用于当前验证分布的模型，诊断另外两者，并说明 L2 正则化主要会怎样影响 9 次模型。
模型选择只比较验证误差；同时观察训练误差和验证误差的差距来区分欠拟合与过拟合。
应选择 3 次模型，因为验证误差 1.5 最小。1 次模型训练与验证误差都高，表现为欠拟合；9 次模型训练误差极低但验证误差升高，表现为过拟合。L2 正则化惩罚大系数，通常会降低 9 次模型的有效复杂度。
结果核验：验证误差的数值排序是 1.5<4.8<4.9；训练—验证差距依次为 0.6、0.4、4.8，9 次模型的泛化差距显著最大。
难度 4/5
输入 x=(1,2)。隐藏层预激活 z=(x₁+x₂,x₁-x₂)，激活 h=ReLU(z)，输出 ŷ=2h₁-h₂，目标 y=4，损失 L=(ŷ-y)²/2。计算前向值、输出权重梯度与输入梯度。
先确定两个 ReLU 门的导数；反向时从 ∂L/∂ŷ=ŷ-y 开始逐层乘局部导数。
z=(3,-1)，h=(3,0)，ŷ=6，L=2，且 ∂L/∂ŷ=2。对输出权重 (2,-1) 的梯度为 2h=(6,0)。传到 h 的梯度为 (4,-2)，经过 ReLU 门得到 ∂L/∂z=(4,0)。由 z₁=x₁+x₂、z₂=x₁-x₂，输入梯度为 (4,4)。
结果核验：沿方向 (ε,0) 扰动输入且保持 ReLU 门不变时，ŷ 增量为 2ε、损失一阶增量约 (ŷ-y)2ε=4ε，与 ∂L/∂x₁=4 一致；x₂ 同理。