专题路线
把线性代数、多变量微分、概率矩和优化连接为机器学习的统一计算语言。
路线按阶段连续组织正文；章节原有教材位置和书内顺序保持不变。
用向量和矩阵表达数据、参数与线性模型。
用梯度和概率矩解释训练目标的局部变化与噪声。
推导最小二乘与梯度下降的基本更新。
本章研究期望、方差与协方差。内容依次处理期望、方差与矩、协方差、相关系数与独立性、条件期望与全期望公式。
未开始线性方程组的解结构用消元和简化行阶梯形判定相容性、参数化全部解，并以秩、零空间、秩—零化度和最小二乘解释精确解与近似解。
未开始本章研究一阶优化与梯度下降。内容依次处理最速下降方向与步长、Lipschitz 梯度下的收敛率、动量、自适应方法与失效案例。
未开始完成指定教材章节后，用自己的推导回答；检查点不替代正文证明。
把一个批量线性预测写成矩阵乘法，并标出每个张量的形状。
从平方损失推导一个参数更新，并说明步长过大时的行为。
先独立作答，再展开提示与分步解答；每题附可重复的结果核验。
难度 2/5
用模型 y=b+wx 拟合三个点 (0,1)、(1,3)、(2,5)。写出设计矩阵、最小二乘参数和残差，并用正规方程核验。
把每个样本写成一行 [1,x]；这三个点恰好共线，先观察斜率再检查 Xᵀr。
X=[[1,0],[1,1],[1,2]]，y=[1,3,5]ᵀ。直线为 y=1+2x，所以参数 (b,w)=(1,2)，预测恰为 [1,3,5]ᵀ，残差 r=y-Xβ=0。
结果核验：计算 Xβ 得 [1,3,5]ᵀ；因此 Xᵀr=[0,0]ᵀ，正规方程 XᵀXβ=Xᵀy 成立，残差平方和为 0。
难度 3/5
在参数 θ=2、学习率 η=0.1 时，四个样本给出的梯度为 1、3、-1、1。求样本梯度均值与总体方差，比较用均值更新一次和随机选一个梯度更新的结果。
先求四个数的算术平均；总体方差的分母取 4。每次更新都使用 θ₊=θ-ηg。
梯度均值为 (1+3-1+1)/4=1，总体方差为 [0²+2²+(-2)²+0²]/4=2。均值更新得到 θ₊=1.9；四种随机单样本更新分别为 1.9、1.7、2.1、1.9，平均仍为 1.9，但单次更新有波动。
结果核验：四个随机更新的均值 (1.9+1.7+2.1+1.9)/4=1.9，恰与均值梯度更新相同；梯度平方偏差之和为 8，除以 4 得 2。