经验风险、容量与一致收敛

风险把学习目标放回目标分布

令样本 $Z=(X,Y)$ 来自目标联合分布 $P$，预测函数 $f$ 属于预先给定的假设类 $\mathcal H$，损失为 $\ell(f(X),Y)$。总体风险定义为

它是部署总体上长期平均损失，通常无法直接求得。给定独立同分布训练样本 $S=(Z_1,\ldots,Z_n)$，经验风险为

经验风险最小化选择 $\widehat f\in\arg\min_{f\in\mathcal H}\widehat R_S(f)$。这一定义包含假设类、损失和优化精度，不等于某一种算法。若优化器只找到近似最小值，还要把优化误差与估计误差分开；若目标部署分布不同于 $P$，即使样本内数学完全成立，也只控制旧分布风险。

类内最优函数记为 $f_{\mathcal H}^*\in\arg\min_{f\in\mathcal H}R(f)$。学习分析常把最终误差拆成相对所有可测函数的近似误差、有限样本导致的估计误差和未求到经验最优的优化误差。扩大 $\mathcal H$ 通常降低近似误差，却可能增加估计难度。

固定模型的集中不允许偷换成训练后模型

先假设损失取值在 $[0,1]$，样本独立同分布，而且函数 $f$ 在看到样本前已经固定。Hoeffding 型集中给出

因此以至少 $1-\delta$ 的概率，固定 $f$ 的差距不超过

“固定”是核心：$f$ 不能根据同一 $S$ 的误差挑选。训练算法输出 $\widehat f(S)$ 与样本相关，把它代回固定函数公式并忽略选择是不合法的。可以在独立测试集上把训练完成的模型视为相对测试样本固定，或建立同时覆盖所有候选的统一界。

一致控制处理“从类中挑选”

若有限假设类 $\mathcal H$ 在抽样前固定，可对每个 $f$ 应用集中界，再用联合界得到

于是以至少 $1-\delta$ 的概率，所有候选同时满足

因为事件对整个类同时成立，所以之后根据同一训练集选出的 $\widehat f$ 也被覆盖。代价是复杂度项含候选数量。界只随 $\log|\mathcal H|$ 增长，但候选巨大或连续时仍需更精细容量量度。

若统一差距不超过 $\varepsilon$，经验风险最小化满足

三步分别使用统一上界、经验最优性和统一下界。这控制相对类内最优的超额风险，不证明类本身包含接近真实机制的函数。

点态收敛与一致收敛不是一回事

对每个固定 $f$，大数定律可使 $\widehat R(f)$ 收敛到 $R(f)$，称点态收敛。但经验风险最小化选择的函数随 $n$ 和样本改变；“每个固定函数最终都准”不保证在每个样本规模上被挑中的那个函数也准。一致收敛要求整个类的最大偏差趋于零，正好控制这种数据依赖选择。

若统一偏差趋零且经验优化误差趋零，就能得到 $R(\widehat f_n)-\inf_{f\in\mathcal H}R(f)\to0$ 的类内风险一致性。若假设类随样本量扩大，还需协调容量增长和近似误差；只有当类逐渐逼近目标且估计项仍消失，才可能接近更广泛的最优风险。没有这些条件，“训练样本增加必然学到真实规律”不是定理。

VC 维用可实现标记衡量二分类容量

对二元分类假设类，若存在 $m$ 个输入点，使类中函数能实现这 $m$ 点的全部 $2^m$ 种标签赋值，就说该点集被打散。VC 维是能被打散的最大点数。它不数参数本身，而数函数类在输入上的二分能力。

实数轴上固定方向的阈值类 $h_t(x)=\mathbf1\{x\ge t\}$ 能打散任意一个点，却不能在两个有序点上实现“左为一、右为零”，所以 VC 维为一。区间指示类 $\mathbf1\{a\le x\le b\}$ 能打散两个点，但三个有序点无法实现只选左右、不选中间，VC 维为二。

增长函数记录在任意 $n$ 个点上最多能产生多少种标记。有限 VC 维限制增长函数，从而把有限类中的 $\log|\mathcal H|$ 替换为大致随 $d\log(n/d)$ 增长的容量项。具体常数和形式依定理条件；VC 维是分布无关的最坏情形导论，不是每个数据集上的精确有效自由度。

覆盖数把无限函数类离散到指定精度

回归或实值损失中，假设类常不可数。覆盖数 $N(\epsilon,\mathcal F,d)$ 表示在度量 $d$ 下，用多少个半径 $\epsilon$ 的球可覆盖函数类。取对数得到度量熵；覆盖数随精度、样本和范数约束变化，可把“无限多个函数”转化为有限近似，再结合连续性与集中控制全类。

覆盖是相对于度量的：在训练样本上的经验距离很近，不代表分布支持外也近。参数数相同的类可能因范数、输入尺度和参数化冗余而具有不同覆盖数；参数很多的模型也可能因强约束或训练算法只访问局部区域而有效复杂度较低。容量应连同函数、输入和约束说明。

结构风险最小化同时支付拟合与容量

设有嵌套假设类 $\mathcal H_1\subset\mathcal H_2\subset\cdots$。结构风险最小化不只选经验风险最低者，而选择

复杂类可能拟合更好，却支付更大容量惩罚。为让结论同时覆盖所有层，可把总失败概率分配为可求和的 $\delta_k$，或直接对类和层级联合控制。惩罚若与真实定理无关，只是经验超参数，就不能自动称为泛化上界。

泛化界的价值与局限

许多基础界假设独立同分布、有界损失、抽样前固定假设类和精确风险定义。时间依赖、分布偏移、重尾损失、选择性标签与数据清洗都可能破坏条件。可通过块依赖分析、截断或尾部条件、重要性加权等工具建立新结论，但不能沿用旧公式只改符号。

最坏情形容量界常很松，尤其常数、联合界和全局类覆盖会忽略数据分布与优化算法偏好。松界仍有概念价值：它揭示样本量、置信水平和搜索范围之间的方向关系，却不应伪装成模型实际误差的精确预测。

数据依赖需要单独审查。若先用同一训练集从一万特征中筛选，再声称最终模型只含十个特征、容量很小，就遗漏了筛选过程。合法分析应覆盖整个可能输出的流程，使用条件成立的数据依赖复杂度，或将筛选限制在训练部分并用独立数据评估。局部复杂度、稳定性和压缩等方法可给更贴近算法的界，但各有自己的假设。

练习

关系与资源

• 过拟合与泛化 提供泛化间隙和模型选择背景。
• 概率论复习 支持期望、集中和联合界。
• 损失函数与风险 定义不同任务中的风险量。
• 正则化、偏差与方差 将容量约束实现为惩罚或可行域。
• 训练、验证、测试与数据泄漏 为数据依赖选择提供独立证据。
• 线性模型与统计学习综合复习 将容量思想用于线性学习流程。