线性模型与统计学习综合复习

一个线性评分，两种输出语义

给定设计矩阵 $X\in\mathbb R^{n\times p}$、参数 $\beta$ 和截距 $\beta_0$，线性模型先构造评分

连续回归可直接用 $s(x)$ 表示条件均值或位置；二元分类则把评分通过 Logistic 函数变成

解释为在建模条件下的正类概率。两者共享线性特征组合，却有不同的损失、输出范围和噪声假设。所谓线性是对参数和所给特征线性；加入 $x^2$、交互项或固定基函数后，模型仍可对参数线性，但决策边界在原输入中可以弯曲。

设计矩阵的每一行必须对应独立分析单位或在方差中保留相关结构。类别变量编码、缺失指示、标准化和交互构造都是模型的一部分，应只在训练数据拟合。截距通常不做标准化，也常不受与斜率相同的惩罚，否则会把总体基线向零错误拉动。

最小二乘预测连续结果

普通最小二乘最小化

满列秩时正规方程给出解，但实现中不应显式计算 $(X^\top X)^{-1}$；QR 分解通常更稳定，接近秩亏时 SVD 能显示不可识别方向。若列完全线性相关，预测值可能唯一而参数不唯一。删掉一列、采用明确约束或正则化都能确定表示，但解释必须随参数化改变。

平方损失对应条件均值目标并强烈惩罚大残差。残差图应检查非线性、异方差、时间相关和异常影响；训练残差均值接近零不是模型正确的充分条件。经典系数标准误还需要误差结构条件，预测任务即使不解释系数，也仍要在独立数据上验证残差和目标误差。

Logistic 回归学习条件概率

对 $y_i\in\{0,1\}$，Logistic 回归最小化平均 Bernoulli 负对数似然

线性评分每增加一单位，正类优势乘以 $e$；系数 $\beta_j$ 表示其他变量固定时，特征增加一单位带来的对数优势变化。这个条件解释不自动是因果效应，相关特征、选择机制和遗漏变量仍会改变含义。

Logistic 输出位于零和一之间，适合概率损失、校准与代价阈值。把零一标签直接做最小二乘会得到线性概率模型，预测可能小于零或大于一，误差方差也随均值变化。它可作快速基线或局部近似，但不能无条件替代概率模型。反过来，Logistic 概率有合法范围也不保证校准，特征错设和分布偏移仍会使概率失真。

完全分离时，存在一条超平面把训练正负类完全分开；未正则化对数似然可沿某方向不断改善而没有有限参数极值。训练分类全对却系数继续变大，是统计结构而不只是优化器故障。L2 惩罚、贝叶斯先验、增加信息或重新定义特征可得到有限解。

正则化同时改变统计问题和数值问题

常见目标为

其中 L2 惩罚 $\Omega(\beta)=\tfrac12\|\beta\|_2^2$ 平滑收缩系数，缓解共线方向和分离；L1 惩罚 $\|\beta\|_1$ 的尖角可产生精确零系数，形成稀疏表示。两者都要求先处理特征尺度，否则同一数值惩罚对单位不同的特征不公平。标准化参数必须从训练折估计。

$\lambda$ 越大，允许的有效函数变化通常越小，方差下降而偏差上升；$\lambda$ 越小，训练拟合更灵活，可能对噪声敏感。这个偏差方差方向不是每个有限样本上的单调定律，验证曲线可能有波动。正则化还改善病态问题的条件数，但“更容易优化”不等于“泛化一定更好”。

容量控制不只看参数数量

固定 $p$ 维线性类的容量受输入维度、范数约束、特征尺度和损失共同影响。增加交互与基函数扩大假设类，降低近似偏差但增加选择机会；L2 范数约束和间隔可限制有效容量；L1 使输出依赖被选择特征子集，搜索本身也属于复杂度。

经验风险最小并不能估计所选模型总体风险。固定模型的集中结论不能直接用于由同一训练集选择的 $\lambda$、特征和阈值；应通过统一容量控制、交叉验证或独立验证处理选择，再用未参与选择的测试集估计最终流程。理论界揭示方向，实际测试提供与目标分布相匹配的效应和区间。

偏差方差也要相对于目标分布和数据生成过程讨论。线性关系错设造成结构偏差，少样本高维造成估计方差，标签噪声形成不可约部分。训练与验证都高误差常提示欠拟合、特征不足或标签噪声；训练低而验证高常提示容量、泄漏或偏移问题，但诊断需要学习曲线和分组证据，而不是只看一个差值。

正则路径要在同一协议中比较

选择 $\lambda$ 时常在对数尺度建立从强到弱的网格，因为有效范围可能跨多个数量级。每个交叉验证训练折都独立拟合填补、缩放和特征选择，然后在对应验证折计算同一主要指标。可选择平均验证损失最低的强度，或在最低值一个标准误范围内选更简单者；规则必须事先固定。

若还要选择损失、特征族和模型类型，外层交叉验证评估整套内层搜索，避免把内层最优分数当无偏性能。最终用全部开发数据按所选协议重训，再在独立测试集运行一次。测试完成后若改变 $\lambda$，就需要新的独立评估。

优化诊断先确认解的是同一个目标

最小二乘的秩和条件数揭示参数方向是否可识别。特征尺度差异使梯度下降沿狭长等高线震荡，标准化或预条件可改善；但任何变换都要在训练数据拟合。对凸的最小二乘、带 L2 的 Logistic，目标值应下降到稳定范围，梯度范数或最优性残差应足够小。只看迭代次数或训练准确率不能证明收敛。

目标函数定义也要核对平均与求和。若软件甲优化平均损失加 $\lambda\Omega$，软件乙优化损失总和加同样数值 $\lambda\Omega$，正则相对强度相差样本量倍数。截距是否惩罚、类别权重、容差和特征缩放也会改变结果，复现实验必须记录。

残差、校准和分组共同定义模型边界

连续回归检查残差随拟合值、每个关键特征、时间和群组是否有结构，并报告平均绝对误差、均方根误差或任务对应分位数损失的区间。少数高杠杆点可强烈改变系数，应做影响诊断，但不能因它们让结果难看就删除；先核对数据，再按预先规则和敏感性报告。

概率分类检查对数损失、排序、可靠性图和实际阈值混淆矩阵。系数符号合理不保证概率校准，受试者工作特征曲线面积高也不保证阈值代价低。分组结果用于发现特征关系、噪声和类比例差异；小组区间必须保留。

模型适用边界包括训练特征范围、类别定义、时间与设备。线性形式在支持集内可能稳健，却不自动支持远距离外推；高次基函数的外推尤其可能爆炸。对范围外输入应拒绝、限制预测或收集新证据。

独立测试评估的是整条冻结流程

最终评估对象不是一串系数，而是特征提取、缺失处理、缩放、模型类型、正则强度、概率校准和阈值组成的流程。测试单位按部署实体或时间隔离，所有候选选择都在开发数据完成。报告模型与简单及业务基线在同一单位上的配对差、区间、分组和计算代价。

练习

关系与资源

• 线性回归 提供最小二乘、残差和矩阵求解基础。
• Logistic 回归 提供概率链接、对数损失和分类解释。
• 过拟合与泛化 连接学习曲线与偏差方差诊断。
• 正则化、偏差与方差 解释 L1、L2 和强度选择。
• 经验风险、容量与一致收敛 限定经验拟合与总体风险结论。
• 训练、验证、测试与数据泄漏 约束嵌套选择和独立评估。