专题路线
从监督学习和线性分类进入损失、泛化、多层感知机与反向传播。
完成机器学习数学基础，希望理解神经网络为何能够训练的学习者。
线性回归、逻辑回归、正则化、泛化误差与容量控制。
感知机、激活函数、多层网络、计算图与反向传播。
为回归和二分类分别选择输出解释、损失函数与评价指标。
为两层感知机画出计算图并逐节点计算局部导数。
难度 2/5
同一数据划分上，三种多项式模型的（训练误差，验证误差）分别为：1 次 (4.2,4.8)、3 次 (1.1,1.5)、9 次 (0.1,4.9)。选择用于当前验证分布的模型，诊断另外两者，并说明 L2 正则化主要会怎样影响 9 次模型。
模型选择只比较验证误差；同时观察训练误差和验证误差的差距来区分欠拟合与过拟合。
应选择 3 次模型，因为验证误差 1.5 最小。1 次模型训练与验证误差都高，表现为欠拟合；9 次模型训练误差极低但验证误差升高，表现为过拟合。L2 正则化惩罚大系数，通常会降低 9 次模型的有效复杂度。
结果核验：验证误差的数值排序是 1.5<4.8<4.9；训练—验证差距依次为 0.6、0.4、4.8，9 次模型的泛化差距显著最大。
难度 4/5
输入 x=(1,2)。隐藏层预激活 z=(x₁+x₂,x₁-x₂)，激活 h=ReLU(z)，输出 ŷ=2h₁-h₂，目标 y=4，损失 L=(ŷ-y)²/2。计算前向值、输出权重梯度与输入梯度。
先确定两个 ReLU 门的导数；反向时从 ∂L/∂ŷ=ŷ-y 开始逐层乘局部导数。
z=(3,-1)，h=(3,0)，ŷ=6，L=2，且 ∂L/∂ŷ=2。对输出权重 (2,-1) 的梯度为 2h=(6,0)。传到 h 的梯度为 (4,-2)，经过 ReLU 门得到 ∂L/∂z=(4,0)。由 z₁=x₁+x₂、z₂=x₁-x₂，输入梯度为 (4,4)。
结果核验：沿方向 (ε,0) 扰动输入且保持 ReLU 门不变时，ŷ 增量为 2ε、损失一阶增量约 (ŷ-y)2ε=4ε，与 ∂L/∂x₁=4 一致；x₂ 同理。
