大数定律与中心极限定理：平均为何稳定、误差如何缩放

长期平均其实包含三个问题

反复测量、投掷硬币或抽取产品时，平均值常会逐渐稳定，但“稳定”至少有三层含义。第一层问偏离固定容差的概率是否趋于零；第二层问对几乎每一条无限样本路径，平均值是否最终趋向同一常数；第三层不要求随机变量彼此接近，只问标准化后的分布形状是否趋近某个极限分布。

大数定律回答前两层：样本平均是否靠近期望。中心极限定理回答第三层：把样本平均的误差乘以 $\sqrt n$ 后，其分布是否趋近正态。前者不提供有限样本的正态形状，后者也不表示每条样本路径必然收敛。把这三个问题分开，是正确使用极限定理的第一步。

还要区分“极限为常数”和“极限仍是随机变量”。样本平均的大数定律极限是固定的 $\mu$；中心极限定理的极限则是具有正方差的 $N(0,1)$。前者表示随机波动在原尺度上消失，后者刻画把消失速度抵消以后留下的形状。实际计算前先写目标量，往往比先写定理名称更能避免尺度错误。

部分和、样本平均与自然尺度

设 $X_1,X_2,\ldots$ 独立同分布，记

若 $\mathbb E[X_1]=\mu$、$\operatorname{Var}(X_1)=\sigma^2<\infty$，则

均值的中心不随 $n$ 改变，波动尺度却按 $n^{-1/2}$ 缩小。因此研究是否靠近 $\mu$ 时观察 $\overline X_n-\mu$；研究缩小后的误差形状时观察 $\sqrt n(\overline X_n-\mu)/\sigma$。这两个尺度不能互换。

标准差缩小并不表示每次增大样本量都会让已观察到的误差单调变小。不同 $n$ 的样本平均仍是随机量，某条路径可能短暂远离 $\mu$。平方根规律描述重复试验中的典型尺度：若希望标准差缩小到原来的一半，样本量通常需要扩大到四倍，而不是两倍。

三种收敛不说同一件事

三种随机收敛

讨论依概率或几乎处处收敛时，随机变量序列 $Y_n$ 与随机变量 $Y$ 须定义在同一概率空间上。若对每个 $\varepsilon>0$，

$$\mathbb P(|Y_n-Y|>\varepsilon)\longrightarrow0,$$

则称 $Y_n\xrightarrow{\mathbb P}Y$。若

$$\mathbb P\!\left(\left\{\omega: Y_n(\omega)\longrightarrow Y(\omega)\right\}\right)=1,$$

则称 $Y_n\xrightarrow{\mathrm{a.s.}}Y$。依分布收敛只比较分布，不要求 $Y_n$ 与 $Y$ 定义在同一概率空间上；若在 $Y$ 的分布函数每个连续点 $x$ 上，

$$\mathbb P(Y_n\le x)\longrightarrow\mathbb P(Y\le x),$$

则称 $Y_n\xrightarrow d Y$。

逻辑上，

反向一般不成立。依概率收敛逐个 $n$ 比较坏事件概率；几乎处处收敛检查整条无限路径；依分布收敛甚至可以只比较边缘分布。符号相似不代表结论可互换。

有一个重要特例：若依分布极限是常数 $c$，则 $Y_n\xrightarrow d c$ 会推出 $Y_n\xrightarrow{\mathbb P}c$。原因是常数分布的全部概率集中在一点，分布函数在 $c$ 两侧的收敛足以压低 $\mathbb P(|Y_n-c|>\varepsilon)$。这个特例不能推广到随机极限；后文的交替符号反例正是极限仍随机时失败的情形。

Chebyshev 不等式把方差变成尾概率

Chebyshev 不等式

若随机变量 $Y$ 的期望和方差有限，则对每个 $\varepsilon>0$，

$$\mathbb P\!\left(|Y-\mathbb E[Y]|\ge\varepsilon\right) \le \frac{\operatorname{Var}(Y)}{\varepsilon^2}.$$

证明

在事件 $|Y-\mathbb E[Y]|\ge\varepsilon$ 上，有 $(Y-\mathbb E[Y])^2\ge\varepsilon^2$。于是

$$\varepsilon^2\mathbf 1_{\{|Y-\mathbb E[Y]|\ge\varepsilon\}} \le (Y-\mathbb E[Y])^2.$$

两边取期望，再除以 $\varepsilon^2$ 即得结论。证明只用二阶矩，不要求正态、对称或有界。

该界通常保守，但它把方差的 $1/n$ 缩放直接转成尾概率上界，因此足以证明概率收敛。

弱大数定律给出容差内的高概率

弱大数定律：iid 有限方差版本

设 $X_1,X_2,\ldots$ 独立同分布，$\mathbb E[X_1]=\mu$ 且 $\operatorname{Var}(X_1)=\sigma^2<\infty$。则

$$\overline X_n\xrightarrow{\mathbb P}\mu.$$

证明

独立性给出 $\operatorname{Var}(\overline X_n)=\sigma^2/n$。对任意 $\varepsilon>0$，Chebyshev 不等式给出

$$\mathbb P(|\overline X_n-\mu|\ge\varepsilon) \le\frac{\sigma^2}{n\varepsilon^2} \longrightarrow0.$$

这正是依概率收敛的定义。

结论允许少数样本路径在某些 $n$ 上偏离很远，只要求固定容差外的概率趋于零。有限方差是这个简洁证明的条件，不应把它误说成所有弱大数定律版本的必要条件。

精确尾概率显示界有多保守

二项样本平均：精确尾概率与 Chebyshev 界

独立进行一百次成功概率为 $0.4$ 的 Bernoulli 试验，令成功总数 $X\sim\operatorname{Bin}(100,0.4)$，则 $\overline X=X/100$。其均值为 $0.4$，方差为

$$\operatorname{Var}(\overline X) =\frac{0.4(1-0.4)}{100}=0.0024.$$

事件 $|\overline X-0.4|\ge0.2$ 等价于 $X\le20$ 或 $X\ge60$。逐项求和得到

$$\mathbb P(X\le20\ \text{或}\ X\ge60) =0.00005887826495941705.$$

Chebyshev 不等式只给出

$$\mathbb P(|\overline X-0.4|\ge0.2) \le\frac{0.0024}{0.2^2}=0.06.$$

上界合法，却比精确概率大约一千倍。弱大数定律需要的是上界随 $n$ 消失，而不是要求这个上界在固定 $n$ 时足够尖锐。

强大数定律追踪整条样本路径

强大数定律：iid 可积版本

设 $X_1,X_2,\ldots$ 独立同分布，且

$$\mathbb E[|X_1|]<\infty, \qquad \mu=\mathbb E[X_1].$$

则

$$\overline X_n\xrightarrow{\mathrm{a.s.}}\mu.$$

这里的条件只有有限一阶绝对矩，不要求方差有限。完整证明需要处理截断变量、最大偏差与无限多个坏事件，不能由一次 Chebyshev 估计直接完成。定理说的是：除一个概率为零的样本路径集合外，每条路径上的全部尾部平均都趋向 $\mu$。零概率集合在逻辑上仍可含有样本点；概率测度只是把它的总质量记为零。

把量词写开更能看清强结论：对几乎每个 $\omega$，给定任意 $\varepsilon>0$，都存在依赖于 $\omega$ 和 $\varepsilon$ 的 $N$，使所有 $n\ge N$ 都满足 $|\overline X_n(\omega)-\mu|<\varepsilon$。它不是说存在一个统一的有限 $N$ 让所有样本路径同时进入容差带，也不提供达到该时刻的确定上界。

强弱结论的条件不能混成一句话

在同一 iid 可积序列上，强大数定律推出弱大数定律，因为几乎处处收敛推出依概率收敛。若只使用本章给出的 Chebyshev 证明，则需要有限方差；若调用可积版本强大数定律，即使方差无穷，也能先得到几乎处处收敛，再得到依概率收敛。

例如尾部满足 Pareto 指数 $3/2$ 的 iid 正随机变量具有有限均值、无限方差。可积版本强大数定律仍适用；本章的有限方差弱大数证明与后面的有限方差经典中心极限定理均不能直接套用。因此必须分别核对每个定理的条件，“样本独立且很多”不足以保证这些版本全部成立。

依分布收敛只比较分布形状

依分布收敛最弱。令 $Z$ 以相同概率取 $-1$ 和 $1$，并令 $Y_n=(-1)^nZ$。每个 $Y_n$ 与 $Z$ 分布相同，所以 $Y_n\xrightarrow d Z$；但奇数 $n$ 时 $Y_n=-Z$，有 $\mathbb P(|Y_n-Z|>1)=1$，故不依概率收敛到 $Z$。

依概率收敛也未必几乎处处收敛。对每个 $m\ge0$，用半开区间

把 $(0,1]$ 划分，并按层级依次枚举全部 $I_{m,j}$。令 $A_n$ 为枚举到的当前区间、$Y_n=\mathbf 1_{A_n}$。区间长度随层级趋于零，因此 $Y_n\xrightarrow{\mathbb P}0$；但每个点在每一级恰落入一个半开区间，因而 $Y_n=1$ 无穷多次，路径不趋于零。两个反例说明上面的箭头一般不能倒转。

中心极限定理保留标准化误差

经典 iid 中心极限定理

设 $X_1,X_2,\ldots$ 独立同分布，

$$\mathbb E[X_1]=\mu, \qquad 0<\operatorname{Var}(X_1)=\sigma^2<\infty.$$

则

$$\frac{S_n-n\mu}{\sigma\sqrt n} = \frac{\sqrt n(\overline X_n-\mu)}{\sigma} \xrightarrow d N(0,1).$$

大数定律中的未缩放误差趋于零；中心极限定理把它乘以 $\sqrt n$，保留非退化的随机波动。$\sigma>0$ 排除了常数变量，有限方差决定标准化尺度。这个渐近结论没有给出指定 $n$ 下的误差上界；若要统一控制误差，通常还要更高阶矩等附加条件。

若每个 $X_i$ 本身正态，则任何有限 $n$ 的标准化和已经精确服从标准正态，不必等待极限。中心极限定理的力量在于原分布无需正态，只要本版本的 iid 与有限正方差条件成立，标准化和的分布仍渐近趋近同一形状。不过，不同原分布的趋近速度可能相差很大，尤其在偏斜或尾部较重时。

连续性校正连接离散计数与正态面积

对称二项分布的精确概率与连续性校正

令 $X\sim\operatorname{Bin}(100,0.5)$。均值为五十，标准差为五。精确求和得到

$$\mathbb P(40\le X\le60) =0.9647997998.$$

正态变量连续，而整数 $40,\ldots,60$ 对应实轴上的区间 $[39.5,60.5]$。连续性校正后，

$$\mathbb P(40\le X\le60) \approx \Phi\!\left(\frac{60.5-50}{5}\right) -\Phi\!\left(\frac{39.5-50}{5}\right) =\Phi(2.1)-\Phi(-2.1) =0.9642711589.$$

绝对误差约为 $0.0005286409$。这里 $np=n(1-p)=50$，分布对称且两侧期望计数都充足，所以近似表现良好。

小 np 会暴露近似边界

稀少成功事件：形式标准化不等于可靠近似

令 $X\sim\operatorname{Bin}(20,0.01)$。精确的零成功概率为

$$\mathbb P(X=0)=0.99^{20}=0.8179069376.$$

相同均值与方差的正态变量具有 $\mu=0.2$、$\sigma^2=0.198$。把整数零作连续性校正为 $[-0.5,0.5]$，得到

$$\mathbb P(X=0) \approx \Phi\!\left(\frac{0.5-0.2}{\sqrt{0.198}}\right) -\Phi\!\left(\frac{-0.5-0.2}{\sqrt{0.198}}\right) =0.6920638603.$$

绝对误差约为 $0.1258430773$。虽然 $n=20$ 看似不小，但 $np=0.2$，概率质量高度堆在零附近并明显右偏。样本量本身不是充分诊断；对二项近似还要检查 $np$ 与 $n(1-p)$。

作为尺度对照，均值同为 $0.2$ 的 Poisson 模型给出 $\mathbb P(X=0)\approx e^{-0.2}=0.8187307531$，比上述正态结果接近精确值。这个对照说明稀少事件的支持边界和偏斜形状必须进入选择；近似方法的优劣随分布结构与目标事件变化，只按“样本量二十”作判断会漏掉决定误差的结构。

样本均值的平方根缩放

从总体尺度换算样本平均尺度

某类独立同分布测量的总体均值为十、方差为四。取 $n=25$ 时，

$$\mathbb E[\overline X_{25}]=10, \qquad \operatorname{sd}(\overline X_{25})=\frac2{\sqrt{25}}=0.4.$$

若观测到样本平均 $10.8$，标准化误差为

$$\frac{\sqrt{25}(10.8-10)}{2}=2.$$

在经典中心极限定理的近似语境下，

$$\mathbb P(9.2\le\overline X_{25}\le10.8) \approx\mathbb P(-2\le Z\le2) \approx0.9545, \qquad Z\sim N(0,1).$$

这项计算只展示尺度换算。若原分布严重偏斜或重尾，$n=25$ 是否足够仍需另行检查；中心极限定理没有承诺所有分布在同一 $n$ 下达到同样精度。

从定理到近似的检查顺序

先写清随机单位和依赖结构，再核对同分布、均值与方差条件。若目标是长期平均，选择弱或强大数定律并写出对应收敛符号；若目标是误差分布，写出完整中心化与标准化。离散计数换成正态面积时明确连续性校正，最后用可得的精确概率或数值求和报告绝对误差。

近似误差与模型误差不同。二项概率算得再精确，也无法修复试验之间相关、成功概率漂移或抽样单位定义错误。反过来，模型合理时，有限样本近似仍可能因为偏斜、重尾或尾部事件而不准。两类误差应分别说明。

还应区分定理保证与经验规则。检查 $np$、$n(1-p)$ 是二项正态近似的实用诊断，并非经典中心极限定理正文中的统一误差承诺。若结果用于极小尾概率，中心区域看似贴合也不够；应优先计算精确尾和，或使用带明确误差控制的专门结果。报告近似值时同时保留阈值、校正方式和未四舍五入的中间尺度，便于他人复算。

极限定理最常见的误读

大数定律说明总和趋于期望

大数定律讨论的是 $\overline X_n=S_n/n$。当 $\mu\ne0$ 时，总和的中心是 $n\mu$，通常随 $n$ 增长，并不趋于常数 $\mu$。

中心极限定理说明原始数据近似正态

经典结论针对标准化的和或平均，不要求单个 $X_i$ 服从正态，也不宣布原始总体随样本量改变形状。

分布收敛不能替代路径接近

$Y_n=(-1)^nZ$ 的每个边缘分布都与 $Z$ 相同，却在奇数步与同一 $Z$ 相差二。只看分布函数会丢失随机变量在共同概率空间上的耦合信息。

练习：收敛定理与近似诊断

练习标记完成

所属知识

随机收敛

难度

2/5

已知 $Y_n\xrightarrow{\mathrm{a.s.}}Y$。可以无附加条件推出哪两种收敛？若只知 $Y_n\xrightarrow dY$，能否推出依概率收敛？

查看提示

先写出三种收敛之间唯一总是成立的箭头。

查看解答

几乎处处收敛先推出依概率收敛，再推出依分布收敛，因此两者都成立。仅有依分布收敛不能推出依概率收敛；本章的 $Y_n=(-1)^nZ$ 满足 $Y_n\xrightarrow dZ$，却不依概率收敛到同一空间上的 $Z$。

练习标记完成

所属知识

弱大数定律

难度

3/5

设 iid 随机变量的方差为九。要用 Chebyshev 不等式保证 $\mathbb P(|\overline X_n-\mu|\ge0.5)\le0.04$，$n$ 至少多大？

查看提示

把样本均值方差九除以 n，再代入 Chebyshev 不等式。

查看解答

$$\mathbb P(|\overline X_n-\mu|\ge0.5) \le\frac{9/n}{0.5^2}=\frac{36}{n}.$$

要求 $36/n\le0.04$，故 $n\ge900$。这是由通用上界得到的充分样本量，不代表真实尾概率在 $n<900$ 时一定超过 $0.04$。

练习标记完成

所属知识

定理条件

难度

4/5

某 iid 正随机变量具有有限均值但无限方差。判断本章可积版本强大数定律、有限方差弱大数证明和经典 iid 中心极限定理能否直接使用。

查看提示

有限一阶绝对矩与有限二阶矩要分别核对。

查看解答

有限均值对正随机变量等价于有限一阶绝对矩，所以可积版本强大数定律可用，并进一步推出依概率收敛。Chebyshev 版弱大数证明需要有限方差，不能直接使用；经典 iid 中心极限定理也要求有限正方差，不能直接使用。不能据此断言不存在其他极限定理，只能说本章这两个有限方差版本不适用。

练习标记完成

所属知识

正态近似

难度

3/5

对 $X\sim\operatorname{Bin}(100,0.5)$，写出 $\mathbb P(40\le X\le60)$ 的连续性校正区间与两个标准化端点。

查看提示

整数端点各向外移动半个单位，再用均值五十、标准差五标准化。

查看解答

整数四十至六十对应连续区间 $[39.5,60.5]$。因为均值为五十、标准差为五，标准化端点为

$$\frac{39.5-50}{5}=-2.1, \qquad \frac{60.5-50}{5}=2.1.$$

故正态近似为 $\Phi(2.1)-\Phi(-2.1)$。

练习标记完成

所属知识

近似边界

难度

3/5

比较 $\operatorname{Bin}(200,0.5)$ 与 $\operatorname{Bin}(200,0.005)$。哪一个更适合直接使用正态近似？说明理由。

查看提示

分别计算 np 与 n(1-p)，再观察概率质量是否靠近支持端点。

查看解答

前者有 $np=n(1-p)=100$，分布远离两端且对称，通常更适合。后者有 $np=1$、$n(1-p)=199$，大量概率集中在零附近并明显右偏；即使两者的 $n$ 都是二百，后者的正态近似仍可能很差。判断不能只看样本量。

极限定理的知识关系与延伸阅读

• 期望、方差与协方差 提供样本平均的中心与 $1/n$ 方差缩放。
• 数列与级数 提供极限、部分和与收敛的确定性语言。
• 抽样分布 继续研究统计量在重复抽样中的分布。
• Monte Carlo 方法 用随机平均近似确定量，并依赖收敛与误差尺度。

课程 · 2013

MIT 6.041SC Probabilistic Systems Analysis and Applied Probability

John Tsitsiklis

课程包含讲授、习题、解答和考试，适合系统检验概率计算。

打开官方来源

MIT OpenCourseWare 6.041SC 的 Unit IV 明确组织大数定律与中心极限定理，可用于核对本章的收敛对象、标准化和定理条件。

书籍 · 2023

Introductory Statistics 2e

Barbara Illowsky, Susan Dean

提供大量分步例题和练习，适合核对分布、样本统计量、置信区间、假设检验和简单线性回归的基础计算与解释。

打开官方来源

OpenStax《Introductory Statistics 2e》第七章覆盖中心极限定理、样本均值与样本和，并说明实际使用条件，适合练习二项连续性校正和标准误尺度。阅读时可先用开放教材建立计算直觉，再用 MIT 课程材料核对收敛对象、标准化与定理条件。

下一章：把工具连成完整解题链

下一章不再逐条引入新定理，而把计数、条件化、联合分布、矩、精确概率、样本均值、标准误和中心极限定理近似放进同一道题。阅读时应坚持四步：先定义随机对象，再写分布与依赖，再选择精确或渐近计算，最后区分计算误差和模型误差。这样才能把“公式会用”提升为“结论可审查”。