M05 · 第 6 章 · 第三编 极限定理与综合复习

概率综合复习:从计数模型到批量风险近似

以不放回抽样、分层工厂和批量缺陷为主线,贯通计数、条件化、联合分布、矩分解、精确概率、样本均值、标准误与中心极限定理近似,并区分计算误差和模型误差。

报告页面错误
预备知识大数定律与中心极限定理联合分布与条件分布

本章目标

  1. 从有序性、放回方式和成功数定义选择组合计数或二项、超几何模型。
  2. 用联合表、全概率、Bayes 公式、全期望与全方差在分层模型中交叉核对。
  3. 从单次指示变量推导批量计数与样本均值的期望、方差和标准误。
  4. 在精确二项尾概率与连续性校正的中心极限定理近似之间正确切换。
  5. 把算术近似误差与独立性、稳定概率、抽样单位等模型误差分开报告。
页面阅读位置0% · 仅保存在此浏览器
章节未开始
本册完成进度0/6 章 · 0%
本页目录

综合问题先画出对象链

一道概率题往往同时出现“从哪里抽”“看到什么”“求哪种长期量”和“是否允许近似”。可靠的起点是先写出对象链,再根据对象之间的关系选择公式:

随机机制样本空间与事件随机变量及联合分布矩或目标概率精确计算或渐近近似.\text{随机机制} \longrightarrow \text{样本空间与事件} \longrightarrow \text{随机变量及联合分布} \longrightarrow \text{矩或目标概率} \longrightarrow \text{精确计算或渐近近似}.

每个箭头都要保留条件。抽样是否放回决定独立性;工厂来源是否可见决定是否条件化;总缺陷数和缺陷比例虽然只差一个常数,却有不同单位;中心极限定理近似需要正确的中心与尺度,而整数计数用连续正态分布近似时还要处理半单位连续性校正。综合复习的目标,是让这些选择可以逐项复核。

从叙述确定样本空间和计数单位

先确定一个样本点记录什么。若从十件产品中同时抽三件,三件的排列次序不属于结果,等可能样本点数为 (103)\binom{10}{3};若依次记录第一、第二、第三件,则有序结果数不同。只要事件也按同一粒度计数,两种样本空间都可用;把无序分母与有序分子混合才会出错。

计数模型还要回答三问:每次选择后总体是否改变,试验次数是否固定,每次成功概率是否相同且各次独立。有放回的固定次数 Bernoulli 试验导向二项分布;有限总体不放回抽样导向超几何分布。二者均值可能相同,方差却会因依赖结构不同而改变。

不放回抽样产生负依赖

总体有 NN 个对象,其中 KK 个标记为成功,不放回抽取 nn 个。令 XX 为样本中的成功数,则

P(X=k)=(Kk)(NKnk)(Nn),\mathbb P(X=k) = \frac{\binom Kk\binom{N-K}{n-k}}{\binom Nn},

其中 kk 还必须使两个组合数都有意义。支持集为

max(0,nN+K)kmin(n,K).\max(0,n-N+K)\le k\le\min(n,K).

其均值和方差为

E[X]=nKN,Var(X)=nKN(1KN)NnN1.\mathbb E[X]=n\frac KN, \qquad \operatorname{Var}(X) =n\frac KN\left(1-\frac KN\right)\frac{N-n}{N-1}.

最后一项是有限总体修正。抽到一个成功对象后,剩余成功比例下降,所以不同抽取位置的成功指示变量负相关,方差小于同成功比例的有放回抽样。

十件中抽三件的完整分布

超几何分布:概率质量、均值与有限总体修正

十件产品中有四件属于目标类别,不放回抽三件。令 XX 为抽中的目标件数,则 N=10N=10K=4K=4n=3n=3,支持集为 0,1,2,30,1,2,3。分母为 (103)=120\binom{10}{3}=120,逐项计算得

P(X=0)=(40)(63)120=16,P(X=1)=(41)(62)120=12,P(X=2)=(42)(61)120=310,P(X=3)=(43)(60)120=130.\begin{aligned} \mathbb P(X=0)&=\frac{\binom40\binom63}{120}=\frac16,\\ \mathbb P(X=1)&=\frac{\binom41\binom62}{120}=\frac12,\\ \mathbb P(X=2)&=\frac{\binom42\binom61}{120}=\frac3{10},\\ \mathbb P(X=3)&=\frac{\binom43\binom60}{120}=\frac1{30}. \end{aligned}

四项和为一。均值与方差为

E[X]=3410=1.2,\mathbb E[X]=3\cdot\frac4{10}=1.2,
Var(X)=30.40.679=0.56.\operatorname{Var}(X) =3\cdot0.4\cdot0.6\cdot\frac7{9}=0.56.

若每次抽完放回,则 XX 改为 Bin(3,0.4)\operatorname{Bin}(3,0.4),均值仍为 1.21.2,方差却是 30.40.6=0.723\cdot0.4\cdot0.6=0.72。不放回抽样没有改变单个位置的成功比例,却通过负依赖缩小了总数波动。

条件化会重新分配样本空间权重

若事件 BB 满足 P(B)>0\mathbb P(B)>0,条件概率为

P(AB)=P(AB)P(B).\mathbb P(A\mid B) =\frac{\mathbb P(A\cap B)}{\mathbb P(B)}.

分母不是可省略的归一化常数;它把原样本空间限制到 BB 后重新缩放为总概率一。若互斥事件 H1,,HmH_1,\ldots,H_m 构成划分,则全概率公式为

P(A)=j=1mP(AHj)P(Hj).\mathbb P(A)=\sum_{j=1}^m \mathbb P(A\mid H_j)\mathbb P(H_j).

观察 AA 后反问来源,用 Bayes 公式

P(HjA)=P(AHj)P(Hj)P(AH)P(H).\mathbb P(H_j\mid A) = \frac{\mathbb P(A\mid H_j)\mathbb P(H_j)} {\sum_\ell\mathbb P(A\mid H_\ell)\mathbb P(H_\ell)}.

正向条件概率、来源权重和反向条件概率是三个不同对象。

两座工厂的缺陷概率

工厂混合:联合表、后验来源与全方差

产品有 60%60\% 来自工厂 AA40%40\% 来自工厂 BB。两厂缺陷率分别为 0.020.020.050.05。令 FF 表示来源,DD 表示缺陷。四个联合概率为

DDc合计A0.0120.5880.600B0.0200.3800.400合计0.0320.9681\begin{array}{c|cc|c} &D&D^{\mathsf c}&\text{合计}\\\hline A&0.012&0.588&0.600\\ B&0.020&0.380&0.400\\\hline \text{合计}&0.032&0.968&1 \end{array}

所以

P(D)=0.6(0.02)+0.4(0.05)=0.032,\mathbb P(D)=0.6(0.02)+0.4(0.05)=0.032,

且一件已知缺陷产品来自 BB 的条件概率为

P(BD)=0.0200.032=0.625.\mathbb P(B\mid D)=\frac{0.020}{0.032}=0.625.

再令 Y=1DY=\mathbf 1_D。由于 Bernoulli 变量方差为 p(1p)p(1-p)

E[Var(YF)]=0.6(0.020.98)+0.4(0.050.95)=0.03076,\mathbb E[\operatorname{Var}(Y\mid F)] =0.6(0.02\cdot0.98)+0.4(0.05\cdot0.95) =0.03076,

Var(E[YF])=0.6(0.020.032)2+0.4(0.050.032)2=0.000216.\operatorname{Var}(\mathbb E[Y\mid F]) =0.6(0.02-0.032)^2+0.4(0.05-0.032)^2 =0.000216.

两部分相加为 0.0309760.030976,恰等于边缘 Bernoulli 方差 0.032(10.032)=0.0309760.032(1-0.032)=0.030976。联合表、全概率和全方差给出三条一致的核对路径。

联合表统一边缘、条件与独立性

离散随机变量 X,YX,Y 的联合质量 pX,Y(x,y)p_{X,Y}(x,y) 满足非负且总和为一。对行或列求和得到边缘质量:

pX(x)=ypX,Y(x,y),pY(y)=xpX,Y(x,y).p_X(x)=\sum_y p_{X,Y}(x,y), \qquad p_Y(y)=\sum_x p_{X,Y}(x,y).

pY(y)>0p_Y(y)>0 时,

pXY(xy)=pX,Y(x,y)pY(y).p_{X\mid Y}(x\mid y)=\frac{p_{X,Y}(x,y)}{p_Y(y)}.

若对所有支持点都有 pX,Y(x,y)=pX(x)pY(y)p_{X,Y}(x,y)=p_X(x)p_Y(y),二者独立。只核对某一个格子或某一个条件概率不够。联合表还能直接计算 E[g(X,Y)]\mathbb E[g(X,Y)];因此同一张表既承载事件概率,也承载矩和依赖结构。

全期望与全方差给出双重核对

对可积随机变量 YY 和分层变量 FF

E[Y]=E[E[YF]].\mathbb E[Y]=\mathbb E[\mathbb E[Y\mid F]].

YY 具有有限二阶矩,则

Var(Y)=E[Var(YF)]+Var(E[YF]).\operatorname{Var}(Y) = \mathbb E[\operatorname{Var}(Y\mid F)] +\operatorname{Var}(\mathbb E[Y\mid F]).

第一项是各层内部波动的加权平均,第二项是不同层中心之间的波动。两项都非负,单位都与 Y2Y^2 一致。工厂例中第二项虽小却不为零,因为两厂缺陷率不同。若误把总体缺陷率 0.0320.032 填回每一层,第二项会被错误抹去。

从单件风险扩展到批量计数

YiY_i 表示第 ii 件产品是否缺陷,Tn=i=1nYiT_n=\sum_{i=1}^nY_i 表示缺陷总数。若每件都独立经历同一工厂混合机制,则边缘上 YiBernoulli(0.032)Y_i\sim\operatorname{Bernoulli}(0.032),从而

TnBin(n,0.032),E[Tn]=0.032n,Var(Tn)=0.032(0.968)n.T_n\sim\operatorname{Bin}(n,0.032), \quad \mathbb E[T_n]=0.032n, \quad \operatorname{Var}(T_n)=0.032(0.968)n.

“独立经历同一混合机制”是实质条件。如果一个整批产品共同来自同一工厂,先抽一次来源再生产全批,那么批内的 YiY_i 会因共享来源而相关,TnT_n 不再是上述单一二项分布。相同单件缺陷率不能单独确定批量尾概率。

样本均值与标准误保持单位清楚

批量缺陷比例为

Yn=1ni=1nYi=Tnn.\overline Y_n=\frac1n\sum_{i=1}^nY_i=\frac{T_n}{n}.

在 iid Bernoulli 模型下,

E[Yn]=p,Var(Yn)=p(1p)n,se(Yn)=p(1p)n.\mathbb E[\overline Y_n]=p, \qquad \operatorname{Var}(\overline Y_n)=\frac{p(1-p)}n, \qquad \operatorname{se}(\overline Y_n)=\sqrt{\frac{p(1-p)}n}.

标准误描述随机统计量在重复抽样中的标准差,不是原始单件变量的标准差。总数 TnT_n 的标准差按 n\sqrt n 增长,比例 Yn\overline Y_n 的标准误按 1/n1/\sqrt n 缩小;两者由除以 nn 相连,数值与单位必须同时换算。

精确概率与渐近近似各有职责

二项尾概率可直接写成有限和,例如

P(Tnt)=k=tn(nk)pk(1p)nk.\mathbb P(T_n\ge t) =\sum_{k=t}^{n}\binom nkp^k(1-p)^{n-k}.

这是给定模型下的精确表达式,数值实现应使用稳定的分布函数或尾函数,避免巨大组合数与极小幂直接相乘造成舍入问题。中心极限定理把 TnT_n 近似为均值 npnp、方差 np(1p)np(1-p) 的正态变量;整数阈值还要作半单位连续性校正。

精确方法解决算术问题,近似方法提供尺度直觉和快速计算。二者都依赖同一个概率模型。能计算精确二项和,不表示独立性与固定 pp 已被数据事实保证。

一千件批次的精确尾概率与 CLT

工厂混合批次:精确二项尾与连续性校正

沿用工厂例,并额外规定每件产品独立选择来源、各件缺陷状态在给定来源后独立。对 n=1000n=1000,缺陷总数

TBin(1000,0.032),E[T]=32,Var(T)=30.976.T\sim\operatorname{Bin}(1000,0.032), \qquad \mathbb E[T]=32, \qquad \operatorname{Var}(T)=30.976.

令第 kk 项的二项概率质量为

bk=(1000k)(0.032)k(0.968)1000k.\begin{aligned} b_k &=\binom{1000}{k}(0.032)^k\\ &\qquad\cdot(0.968)^{1000-k}. \end{aligned}

于是精确尾概率为

P(T40)=k=401000bk=0.0920642648273366.\begin{aligned} \mathbb P(T\ge40) &=\sum_{k=40}^{1000}b_k\\ &=0.0920642648273366. \end{aligned}

正态近似使用标准差 30.976=5.5656086819\sqrt{30.976}=5.5656086819。事件 T40T\ge40 经连续性校正为连续变量不小于 39.539.5,所以

z=39.53230.976=1.3475615029,z=\frac{39.5-32}{\sqrt{30.976}} =1.3475615029,
P(T40)1Φ(z)0.0888997298.\begin{aligned} \mathbb P(T\ge40) &\approx1-\Phi(z)\\ &\approx0.0888997298. \end{aligned}

绝对误差为 0.003164535059413780.00316453505941378。此处 np=32np=32n(1p)=968n(1-p)=968,近似具有可用的中心计数尺度,但尾概率仍有可见误差。对应缺陷比例的标准误为

0.032(0.968)1000=0.0055656086819.\sqrt{\frac{0.032(0.968)}{1000}} =0.0055656086819.

模型误差与计算误差必须分开

上例中 0.003160.00316 是在指定 iid 二项模型内,正态近似相对精确二项概率的差。它不是对现实生产流程总误差的承诺。若同一班次共享设备状态、工厂份额固定为整批配额、缺陷率随时间漂移,缺陷指示变量就可能相关或不同分布,真实尾部可明显改变。

报告结论时至少注明随机单位、抽样范围、放回方式、条件变量、独立性来源、概率是否稳定以及近似方法。增加小数位只能减小数值舍入误差,不能修复错误的随机机制。反之,模型边界写得清楚,也不应把粗糙近似冒充精确结果。

相同单件概率下的两种批量方差

逐件选厂与整批选厂:边缘相同、风险不同

继续使用工厂 A,BA,B 的权重 0.6,0.40.6,0.4 与缺陷率 0.02,0.050.02,0.05。在“逐件选厂”机制中,每件产品独立选择来源并独立产生缺陷,因此每个缺陷指示变量都是参数 0.0320.032 的 Bernoulli 变量。对 nn 件产品,缺陷总数 TnT_n 的方差为

Var(Tn)=n(0.032)(0.968)=0.030976n.\operatorname{Var}(T_n) =n(0.032)(0.968)=0.030976n.

现在改成“整批选厂”:先抽一次共同来源 FF,随后整批都来自该工厂,并假设给定 FF 后各件缺陷状态条件独立。单独观察任意一件产品,缺陷概率仍为 0.0320.032,所以单件边缘分布没有变化;批内产品却共享同一个随机来源。由全方差公式,

Var(Tn)=E[Var(TnF)]+Var(E[TnF])=n(0.03076)+n2(0.000216).\begin{aligned} \operatorname{Var}(T_n) &=\mathbb E[\operatorname{Var}(T_n\mid F)] +\operatorname{Var}(\mathbb E[T_n\mid F])\\ &=n(0.03076)+n^2(0.000216). \end{aligned}

第二项按 n2n^2 增长,因为来源差异同时移动整批的条件均值。等价地,对任意不同位置 iji\ne j

Cov(Yi,Yj)=Var(E[YiF])=0.000216,\operatorname{Cov}(Y_i,Y_j) =\operatorname{Var}(\mathbb E[Y_i\mid F]) =0.000216,

这个协方差也可从联合概率直接复算。给定来源后两件产品条件独立,所以

E[YiYj]=0.6(0.022)+0.4(0.052)=0.00124,\mathbb E[Y_iY_j] =0.6(0.02^2)+0.4(0.05^2)=0.00124,

再减去边缘均值乘积 0.0322=0.0010240.032^2=0.001024,仍得 0.0002160.000216。可见条件独立没有推出边缘独立:观察到同批一件产品的状态会通过共同来源改变对另一件产品的判断。

于是

Var(Tn)=n(0.030976)+n(n1)(0.000216).\operatorname{Var}(T_n) =n(0.030976)+n(n-1)(0.000216).

对批量缺陷比例 Yn=Tn/n\overline Y_n=T_n/n,整批选厂机制给出

Var(Yn)=0.03076n+0.0002160.000216.\operatorname{Var}(\overline Y_n) =\frac{0.03076}{n}+0.000216 \longrightarrow0.000216.

来源不确定性不会随批量增大而消失。给定 FF 后,强大数定律使批内比例趋向该工厂的缺陷率 0.020.020.050.05;它不会沿每条样本路径都趋向边缘平均 0.0320.032。因此“单批做得足够大”与“反复独立抽取来源”代表两种不同的极限过程。

n=1000n=1000 时,逐件选厂模型的方差是 30.97630.976、标准差约为 5.56565.5656;整批选厂模型的方差变为 246.76246.76、标准差约为 15.708615.7086。两种模型拥有完全相同的单件缺陷概率,却给出相差近八倍的批量方差。只核对边缘比例无法决定批量尾部风险;必须说明来源是在每件产品层面重新抽取,还是作为整批共享的潜在变量。固定工厂配额又是第三种依赖结构,不能由这两种机制自动代表。

两枚骰子把计数、条件与矩连起来

公平骰子:枚举事件、条件概率与总和方差

独立掷两枚公平六面骰子,记点数为 X,YX,Y。三十六个有序点对等可能。事件 A={X+Y10}A=\{X+Y\ge10\} 包含六个点对,因此 P(A)=6/36=1/6\mathbb P(A)=6/36=1/6。事件 B={X 为偶数}B=\{X\text{ 为偶数}\} 包含十八个点对。

ABA\cap B 包含

(4,6),(6,4),(6,5),(6,6),(4,6),(6,4),(6,5),(6,6),

所以

P(AB)=4/3618/36=29.\mathbb P(A\mid B) =\frac{4/36}{18/36}=\frac29.

因为 2/91/62/9\ne1/6,事件 AABB 不独立。总点数 R=X+YR=X+Y 的均值和方差可不经三十六项求和而由独立性得到:

E[R]=3.5+3.5=7,Var(R)=3512+3512=356.\mathbb E[R]=3.5+3.5=7, \qquad \operatorname{Var}(R) =\frac{35}{12}+\frac{35}{12} =\frac{35}{6}.

同一模型中,事件 AABB 可以相关,而随机变量 XXYY 仍独立;不要把派生事件的相关性误读成两次投掷失去独立。

综合概率题中的模型误区

不放回抽样也能沿用同一个二项方差

各位置边缘成功概率虽相同,指示变量却负相关。超几何方差多出 (Nn)/(N1)(N-n)/(N-1);忽略它会高估不放回总数的波动。

总体缺陷率等于两厂缺陷率的普通平均

只有工厂权重各为二分之一时才是普通平均。工厂例应算 0.6(0.02)+0.4(0.05)=0.0320.6(0.02)+0.4(0.05)=0.032,来源权重属于模型的一部分。

相同边缘概率不能保证批内独立

先以概率 0.60.6 选工厂 AA,否则选 BB,再让整批都来自所选工厂。每件产品的边缘缺陷率仍为 0.0320.032,但各件共享来源,缺陷事件通过来源变量产生依赖。把它当作 iid Bernoulli 会漏掉层间波动。

练习:综合建模与概率复算

练习

八件产品中三件缺陷,不放回抽两件。求恰有一件缺陷的概率。

查看提示
分母从八件中无序选二件;分子分别选一件缺陷品和一件合格品。
查看解答

等可能样本共有 (82)=28\binom82=28 个。恰有一件缺陷需要从三件缺陷品中选一件、从五件合格品中选一件,因此

P(X=1)=(31)(51)(82)=1528.\mathbb P(X=1) =\frac{\binom31\binom51}{\binom82} =\frac{15}{28}.

无序计数的分子与分母粒度一致。

练习

在十件中四件目标件、不放回抽三件的模型中,求至少抽到一件目标件的概率,并与有放回抽样比较。

查看提示
使用正文概率质量中的零成功项取补集。
查看解答

不放回时

P(X1)=1P(X=0)=116=56.\mathbb P(X\ge1)=1-\mathbb P(X=0)=1-\frac16=\frac56.

有放回且每次目标概率为 0.40.4 时,

P(X1)=10.63=0.784.\mathbb P(X\ge1)=1-0.6^3=0.784.

不放回过程中连续抽到非目标件后,剩余总体中的目标比例上升,所以这里至少一次成功的概率更大。

练习

沿用工厂模型。随机取到一件缺陷产品,求它来自工厂 AA 的条件概率,并与来自 BB 的结果相加核对。

查看提示
先算缺陷联合概率,再除以总缺陷概率 0.032。
查看解答

联合概率 P(AD)=0.6(0.02)=0.012\mathbb P(A\cap D)=0.6(0.02)=0.012,因此

P(AD)=0.0120.032=0.375.\mathbb P(A\mid D)=\frac{0.012}{0.032}=0.375.

正文已算得 P(BD)=0.625\mathbb P(B\mid D)=0.625,两者和为一,符合来源 A,BA,B 在条件样本空间内仍构成划分。

练习

若两组来源权重各为 0.50.5,缺陷率分别为 0.010.010.090.09,令 YY 为缺陷指示变量。用全方差公式计算 Var(Y)\operatorname{Var}(Y)

查看提示
分别计算层内 Bernoulli 方差均值与两层条件均值的方差。
查看解答

边缘缺陷率为 p=0.5(0.01)+0.5(0.09)=0.05p=0.5(0.01)+0.5(0.09)=0.05。层内部分为

0.5(0.010.99)+0.5(0.090.91)=0.0459.0.5(0.01\cdot0.99)+0.5(0.09\cdot0.91)=0.0459.

层间部分为

0.5(0.010.05)2+0.5(0.090.05)2=0.0016.0.5(0.01-0.05)^2+0.5(0.09-0.05)^2=0.0016.

总方差为 0.04750.0475,与边缘 Bernoulli 方差 0.05(0.95)=0.04750.05(0.95)=0.0475 一致。

练习

在正文的一千件 iid 缺陷模型中,说明为何阈值使用 39.539.5 而不是 4040,并写出标准化式。

查看提示
事件总数至少四十对应连续阈值 39.5。
查看解答

离散事件 T40T\ge40 包含整数 40,41,40,41,\ldots。用连续正态变量替代时,相邻整数的分界位于半整数,因此相应区间从 39.539.5 开始。均值为三十二、方差为 30.97630.976,所以

z=39.53230.976=1.3475615029.z=\frac{39.5-32}{\sqrt{30.976}}=1.3475615029.

近似尾概率为 1Φ(z)1-\Phi(z)。连续性校正只处理离散到连续的边界,不会修复非 iid 的模型问题。

综合概率模型的知识关系与延伸阅读

课程 · 2013

MIT 6.041SC Probabilistic Systems Analysis and Applied Probability

John Tsitsiklis

课程包含讲授、习题、解答和考试,适合系统检验概率计算。

打开官方来源

MIT OpenCourseWare 6.041SC 提供条件概率、随机变量、矩以及大数定律和中心极限定理的统一课程结构,适合核对本章从单次模型到批量极限的连接。

课程 · 2015

MIT 6.042J Mathematics for Computer Science

Albert R. Meyer, Adam Chlipala

用于核对集合与函数语言、有限集合上的证明方法,以及组合计数、条件概率和离散概率的推导。

打开官方来源

MIT OpenCourseWare 6.042J 的离散数学材料覆盖计数与离散概率,可用于复核组合数分母、互斥划分和有限样本空间推导。

书籍 · 2023

Introductory Statistics 2e

Barbara Illowsky, Susan Dean

提供大量分步例题和练习,适合核对分布、样本统计量、置信区间、假设检验和简单线性回归的基础计算与解释。

打开官方来源

OpenStax《Introductory Statistics 2e》第七章覆盖样本均值、样本和、标准误与中心极限定理的使用条件。三项资源可按“离散计数—概率模型—样本均值与极限近似”的顺序配合阅读,分别补足组合结构、理论条件和分步计算语境。

后续学习:从概率模型进入统计方法

完成本章后,应能把现实叙述翻译为可审查的概率模型,并对精确结果、渐近近似和现实边界分别负责。后续课程将研究当总体规律未知、只有有限样本时,如何构造并比较由数据产生的方法。进入新主题前,建议先独立重做工厂批次案例:改变工厂权重、批量大小与来源共享方式,观察单件边缘概率相同而批量方差不同的情形。