M06 · 第 3 章 · 第二编 区间与检验

置信区间:覆盖率、枢轴量与有限样本校准

从重复抽样覆盖率出发,用枢轴量反演正态均值、方差和总体比例的单双侧区间,比较 Wald 与 Wilson 方法,并说明样本量设计及数据后选方法为何会破坏名义保证。

报告页面错误
预备知识点估计、充分性与信息量抽样分布

本章目标

  1. 用随机区间的重复抽样覆盖事件准确解释置信水平。
  2. 从参数无关的枢轴量及其分位数反演双侧或单侧置信集合。
  3. 在正态总体条件下分别构造已知方差的 z 区间、未知方差的 t 区间和方差的卡方区间。
  4. 诊断小样本比例 Wald 区间的越界与覆盖缺陷,并完整计算 Wilson 区间。
  5. 依据预先给定的精度设计样本量,并识别数据后选择方向或方法造成的覆盖率损失。
页面阅读位置0% · 仅保存在此浏览器
章节未开始
本册完成进度0/6 章 · 0%
本页目录

区间的随机性发生在抽样之前

点估计把一组样本压缩为一个数,区间估计则保留“哪些参数值仍与这套抽样规律相容”的范围。频率学模型写成 {Pθ:θΘ}\{P_\theta:\theta\in\Theta\}:参数 θ\theta 固定但未知,样本 X=(X1,,Xn)X=(X_1,\ldots,X_n) 随重复抽样而变化。因而区间端点 L(X),U(X)L(X),U(X) 是随机变量;代入已经观测到的 x=(x1,,xn)x=(x_1,\ldots,x_n) 后,端点才成为两个确定数字。

频率学置信区间与覆盖率

若对每个 θΘ\theta\in\Theta,由样本构成的集合

C(X)={ϑ:L(X)ϑU(X)}C(X)=\{\vartheta:L(X)\le \vartheta\le U(X)\}

满足

Pθ{θC(X)}=Pθ{L(X)θU(X)}1α,P_\theta\{\theta\in C(X)\} =P_\theta\{L(X)\le\theta\le U(X)\} \ge 1-\alpha,

则称 C(X)C(X) 为置信水平至少为 1α1-\alpha 的置信区间。函数 θPθ{θC(X)}\theta\mapsto P_\theta\{\theta\in C(X)\} 称为覆盖率函数;若它对所有 θ\theta 都恰等于 1α1-\alpha,则称区间具有精确的等覆盖率。

这里的概率陈述发生在“固定 θ\theta、重新生成整份样本”的重复试验上。某次抽样得到 [1.42,2.18][1.42,2.18] 后,频率学模型中的 θ\theta 与两个端点都已经固定;此时应报告“该方法在给定模型下有 95%95\% 的长期覆盖率”,不能改写成“θ\theta95%95\% 的概率位于这个已实现区间”。后一句需要参数的概率模型,例如明确的先验和后验分布,已经是另一套推断语义。

离散模型常因拒绝概率只能跳跃而无法让覆盖率处处恰等于名义水平。此时“至少 1α1-\alpha”允许保守区间,但保守程度仍应检查。覆盖保证还依赖抽样机制:便利样本、未处理的整群依赖或选择偏差不会因为端点保留更多小数而消失。

枢轴量把概率事件翻译为参数不等式

区间构造的核心步骤,是寻找一个同时含样本与参数、但其分布不再含未知量的统计函数。

枢轴量

函数 Q(X,θ)Q(X,\theta) 若满足两点,则称为参数 θ\theta 的枢轴量:

  1. 它允许含待推断参数 θ\theta,但除样本和已知常数外不含其他未知量;
  2. PθP_\theta 下,Q(X,θ)Q(X,\theta) 的分布对所有 θΘ\theta\in\Theta 相同并且已知。
连续枢轴量的分位数反演

Q(X,θ)Q(X,\theta) 具有与 θ\theta 无关的连续分布,且 aα,bαa_\alpha,b_\alpha 满足

Pθ{aαQ(X,θ)bα}=1α.P_\theta\{a_\alpha\le Q(X,\theta)\le b_\alpha\}=1-\alpha.

若对每个可能样本 xx,上述双重不等式可等价改写为

L(x)θU(x),L(x)\le\theta\le U(x),

[L(X),U(X)][L(X),U(X)] 是精确的 1α1-\alpha 置信区间。

证明

反演前后的两个事件逐个样本点等价,因此在任意固定 θ\theta 下具有相同概率:

Pθ{L(X)θU(X)}=Pθ{aαQ(X,θ)bα}=1α.\begin{aligned} P_\theta\{L(X)\le\theta\le U(X)\} &=P_\theta\{a_\alpha\le Q(X,\theta)\le b_\alpha\}\\ &=1-\alpha. \end{aligned}

证明只使用事件等价与已知枢轴分布。若反演改变不等号方向、分位数选错尾部,或所谓枢轴的分布仍含未知参数,等式便不成立。

中心概率区间常取 aα=G1(α/2)a_\alpha=G^{-1}(\alpha/2)bα=G1(1α/2)b_\alpha=G^{-1}(1-\alpha/2),但等尾并非唯一选择。偏斜分布下也可选择其他尾概率分配;选择规则应在观察数据前确定,并把由此得到的覆盖性质一并说明。

已知总体标准差时的 z 区间

XiiidN(μ,σ2)X_i\stackrel{\mathrm{iid}}\sim N(\mu,\sigma^2)σ\sigma 已知,则

Z=n(Xμ)σN(0,1).Z=\frac{\sqrt n(\overline X-\mu)}{\sigma}\sim N(0,1).

记标准正态 pp 分位数为 zpz_p。由 P(z1α/2Zz1α/2)=1αP(-z_{1-\alpha/2}\le Z\le z_{1-\alpha/2})=1-\alpha 反演得到

μ[Xz1α/2σn, X+z1α/2σn].\mu\in \left[ \overline X-z_{1-\alpha/2}\frac{\sigma}{\sqrt n}, \ \overline X+z_{1-\alpha/2}\frac{\sigma}{\sqrt n} \right].

区间半宽等于“分位数乘标准误”。总体标准差 σ\sigma 描述单个观测的尺度, σ/n\sigma/\sqrt n 才是样本均值的标准误,二者不能互换。

已知标准差时复核 90% 均值区间

某校准过程的误差在每次独立运行中服从 N(μ,82)N(\mu,8^2)。抽取 n=64n=64 次,得到 x=72.4\overline x=72.4。构造双侧 90%90\% 区间。标准误为

σn=88=1.\frac{\sigma}{\sqrt n}=\frac8{8}=1.

标准正态分位数 z0.95=1.644854z_{0.95}=1.644854,因此

72.4±1.644854=[70.755146,74.044854].72.4\pm1.644854 =[70.755146,74.044854].

保留两位小数可报告为 [70.76,74.04][70.76,74.04]。若同一机制反复抽取六十四次并每次重算端点,这种构造覆盖真实 μ\mu 的比例为 0.900.90;本次固定区间本身没有给 μ\mu 分配 0.900.90 的后验概率。

当总体并非正态时,上式不再自动是有限样本精确区间。有限方差与大样本可借助中心极限定理给近似区间,但需要报告近似性质,并检查偏斜、重尾、依赖和样本量是否使近似可信。

未知方差时 t 与卡方枢轴必须成对核对

仍假设 XiiidN(μ,σ2)X_i\stackrel{\mathrm{iid}}\sim N(\mu,\sigma^2),但 σ2\sigma^2 未知。使用无偏样本方差

S2=1n1i=1n(XiX)2.S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline X)^2.

正态模型给出

T=n(Xμ)Stn1,V=(n1)S2σ2χn12,T=\frac{\sqrt n(\overline X-\mu)}S\sim t_{n-1}, \qquad V=\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1},

其中第一条还用到 XS2\overline X\perp S^2。于是均值的双侧区间为

X±tn1,1α/2Sn,\overline X\pm t_{n-1,\,1-\alpha/2}\frac S{\sqrt n},

方差区间为

[(n1)S2χn1,1α/22,(n1)S2χn1,α/22].\left[ \frac{(n-1)S^2}{\chi^2_{n-1,\,1-\alpha/2}}, \frac{(n-1)S^2}{\chi^2_{n-1,\,\alpha/2}} \right].

卡方分布不对称,低分位数必须放在方差上端的分母。将两个分母机械地按数值从小到大排列会把端点方向写反。

同一正态样本校准均值与方差区间

十六个独立正态观测给出 x=52.3\overline x=52.3s=4.8s=4.8。在 95%95\% 置信水平下, t15,0.975=2.131450t_{15,0.975}=2.131450,均值区间半宽为

2.1314504.816=2.131450(1.2)=2.557740.2.131450\frac{4.8}{\sqrt{16}} =2.131450(1.2) =2.557740.

所以

μ[49.742260,54.857740].\mu\in[49.742260,54.857740].

对总体方差,查得 χ15,0.0252=6.262138\chi^2_{15,0.025}=6.262138χ15,0.9752=27.488393\chi^2_{15,0.975}=27.488393,且 (n1)s2=15(4.82)=345.6(n-1)s^2=15(4.8^2)=345.6。于是

σ2[345.627.488393,345.66.262138]=[12.572579,55.188821].\sigma^2\in \left[ \frac{345.6}{27.488393}, \frac{345.6}{6.262138} \right] =[12.572579,55.188821].

开平方后,标准差区间为 [3.545783,7.428918][3.545783,7.428918]。方差端点均非负、次序正确;均值区间用 tt 分位数,方差区间用卡方分位数。两组结论的精确性都依赖正态总体,不能只因样本量为十六就在任意总体下照搬。

若只关心均值且样本很大,t 区间在适当矩条件下常有良好的渐近表现;方差卡方区间对非正态性则更敏感,因为其精确推导直接使用正态样本方差分布。两者的适用边界应分别陈述。

单侧界与双侧区间回答不同问题

双侧区间把总尾概率 α\alpha 分配到两端。若问题预先只关心“均值至少多大”,正态已知方差模型中的 1α1-\alpha 单侧下置信界为

L(X)=Xz1ασn,Pμ{μL(X)}=1α.L(X)=\overline X-z_{1-\alpha}\frac{\sigma}{\sqrt n}, \qquad P_\mu\{\mu\ge L(X)\}=1-\alpha.

相应上置信界为

U(X)=X+z1ασn.U(X)=\overline X+z_{1-\alpha}\frac{\sigma}{\sqrt n}.

单侧 95%95\% 界使用 z0.95=1.644854z_{0.95}=1.644854,双侧 95%95\% 区间使用 z0.975=1.959964z_{0.975}=1.959964。单侧界并非把双侧区间随意丢掉一个端点;尾部预算和问题陈述都不同。

预先给定方向的单侧下界

沿用已知 σ=8\sigma=8n=64n=64x=72.4\overline x=72.4 的校准数据。若分析方案在采样前规定只验证均值的保守下限,则

L=72.41.64485488=70.755146.L=72.4-1.644854\frac8{8}=70.755146.

可报告“95%95\% 单侧下置信界为 70.7670.76”。若先看到样本均值偏高,再由双侧改成下界以取得更有利结论,原来的 95%95\% 覆盖校准不再适用于这套数据驱动规则。

小样本比例暴露 Wald 区间的结构缺陷

XBin(n,p)X\sim\operatorname{Bin}(n,p),样本比例 p^=X/n\widehat p=X/n 的方差为 p(1p)/np(1-p)/n。直接把未知 pp 换成 p^\widehat p 得到的正态近似区间称为 Wald 区间:

p^±z1α/2p^(1p^)n.\widehat p\pm z_{1-\alpha/2} \sqrt{\frac{\widehat p(1-\widehat p)}n}.

这是渐近近似,不是有限样本枢轴反演。样本较小或 p^\widehat p 靠近零、一时,区间可能越过 [0,1][0,1],实际覆盖率也可能远离名义值;在 X=0X=0X=nX=n 时估计标准误甚至变成零。

由得分检验不等式反演得到的区间称为 Wilson 区间:

p^pp(1p)/nz1α/2\frac{|\widehat p-p|} {\sqrt{p(1-p)/n}} \le z_{1-\alpha/2}

pp 的二次反演。令 z=z1α/2z=z_{1-\alpha/2},整理后端点为

p^+z22n ± zp^(1p^)n+z24n21+z2n.\frac{ \widehat p+\frac{z^2}{2n} \ \pm\ z\sqrt{\frac{\widehat p(1-\widehat p)}n+\frac{z^2}{4n^2}} }{ 1+\frac{z^2}{n} }.

它自动落在 [0,1][0,1] 内,并通常比 Wald 区间有更稳定的覆盖,但离散性仍会使覆盖率随 pp 振荡;“改善”不能写成所有 n,pn,p 上恰有 95%95\% 覆盖。

x=1、n=10 时 Wald 越界而 Wilson 保持可行

十次独立 Bernoulli 试验观察到一次成功,故 p^=0.1\widehat p=0.1。在 95%95\% 水平下 z=1.959964z=1.959964。Wald 标准误为

0.1(0.9)10=0.094868,\sqrt{\frac{0.1(0.9)}{10}}=0.094868,

得到

0.1±1.959964(0.094868)0.1\pm1.959964(0.094868)
=[0.085939,0.285939].=[-0.085939,0.285939].

负下端点不是合法概率,直接截成零又会改变覆盖性质。

Wilson 分母为 1+z2/10=1.3841461+z^2/10=1.384146。其中心和半宽分别为

c=0.1+z2/201+z2/10=0.211013,c=\frac{0.1+z^2/20}{1+z^2/10} =0.211013,
h=z1+z2/100.1(0.9)10+z2400h= \frac{z}{1+z^2/10} \sqrt{\frac{0.1(0.9)}{10}+\frac{z^2}{400}}
=0.193137.=0.193137.

所以 Wilson 区间为

[0.017876,0.404150].[0.017876,0.404150].

两个端点都在概率范围内,且区间明显不以 0.10.1 为中心。这种不对称正是边界附近二项抽样信息不对称的反映。

精度目标决定样本量而非事后小数位

已知总体标准差的正态均值区间半宽为

E=z1α/2σn.E=z_{1-\alpha/2}\frac{\sigma}{\sqrt n}.

若要求半宽不超过预定值 E0E_0,则

n(z1α/2σE0)2,n\ge \left(\frac{z_{1-\alpha/2}\sigma}{E_0}\right)^2,

并必须向上取整。总体比例的近似设计可将先验规划值 pp_\star 代入

nz1α/22p(1p)E02.n\ge \frac{z_{1-\alpha/2}^2p_\star(1-p_\star)}{E_0^2}.

若没有可靠的 pp_\star,使用 p=1/2p_\star=1/2 给出方差上界,从而得到保守规划。设计效应、失访率、有限总体修正和聚类结构都可能改变实际所需样本量,iid 公式不能覆盖这些因素。

均值半宽不超过 0.8 的样本量设计

计划估计某测量总体均值,历史过程给出可信的 σ=6\sigma=6,要求双侧 95%95\% 区间半宽至多 0.80.8。代入得

(1.959964(6)0.8)2=216.082059.\left(\frac{1.959964(6)}{0.8}\right)^2 =216.082059.

样本量必须取 n=217n=217;取二百一十六会使半宽略大于 0.80.8。该计算只处理抽样误差。若历史标准差失真、观测有系统测量偏差或样本并非独立,增加到二百一十七并不能自动兑现目标精度。

看完数据再选方法会改变覆盖事件

每种区间都对应一个从全部可能样本到参数集合的固定映射 xC(x)x\mapsto C(x)。覆盖率是在这个完整映射上计算的。若分析者看到数据后才决定使用单侧还是双侧、删除哪些观测、采用 Wald 还是 Wilson、是否报告某个子组,真正使用的已经是一个含选择步骤的新映射;单个候选方法各自的名义覆盖率不能直接转移给它。

选择有时是研究问题本身要求的,例如仪器物理上只关心最低性能,或者方案预先规定方差未知时使用 tt 区间。这类预先规则属于方法定义。若方向、模型或子组必须由数据探索,应使用与选择机制相匹配的同时推断、样本分割或选择后推断方法,并把探索性结论标明。仅在结果表中补一句“采用 95%95\% 区间”无法恢复被选择过程消耗的错误率。

95% 区间意味着固定参数有 95% 概率落在其中

频率学参数是固定量,随机对象是由尚未观测的样本产生的端点。形成具体区间后,应解释构造方法的长期覆盖率。若要陈述参数在区间内的条件概率,需要另行建立先验与后验模型。

区间越窄,方法一定越好

把区间恒定输出为一个点会非常窄,却几乎不覆盖未知参数。宽度必须与覆盖率、模型条件和抽样成本共同比较;在相同覆盖约束下讨论期望长度才有意义。

把越界 Wald 端点截断并不保留原推导

x=1,n=10x=1,n=10 时,Wald 下端点为负。把它改成零看似合理,但截断后的端点映射已经改变,覆盖率也随之改变。合法概率范围应由反演结构保证,Wilson 区间正是一个例子。

五组区间反演练习

练习 1:已知标准差的均值区间

XiiidN(μ,32)X_i\stackrel{\mathrm{iid}}\sim N(\mu,3^2)n=36n=36x=18.2\overline x=18.2。求 μ\mu 的双侧 95%95\% 置信区间。

查看提示
先算标准误 3/363/\sqrt{36},再乘 z 的 0.975 分位数。
查看解答

标准误为 3/36=0.53/\sqrt{36}=0.5,半宽为 1.959964(0.5)=0.9799821.959964(0.5)=0.979982。所以

μ[18.20.979982,18.2+0.979982]=[17.220018,19.179982].\mu\in[18.2-0.979982,18.2+0.979982] =[17.220018,19.179982].

精确覆盖率依赖题设的 iid 正态模型与已知标准差。

练习 2:辨认 t 区间的自由度

九个独立正态观测给出 x=10.0\overline x=10.0s=1.5s=1.5。已知 t8,0.975=2.306004t_{8,0.975}=2.306004,求 μ\mu95%95\% 区间。

查看提示
无偏样本方差使用 n-1 个自由度;标准误为 s/ns/\sqrt{n}
查看解答

标准误为 1.5/9=0.51.5/\sqrt9=0.5,半宽为 2.306004(0.5)=1.1530022.306004(0.5)=1.153002,故

μ[8.846998,11.153002].\mu\in[8.846998,11.153002].

这里使用八个自由度。把 tt 分位数替换为 z0.975z_{0.975} 会忽略估计 σ\sigma 所带来的额外不确定性。

练习 3:卡方端点次序

正态样本量 n=11n=11,样本方差 s2=4s^2=4。给定 χ10,0.0252=3.246973\chi^2_{10,0.025}=3.246973χ10,0.9752=20.483177\chi^2_{10,0.975}=20.483177,求 σ2\sigma^295%95\% 区间。

查看提示
较大的卡方分位数放在下端点分母。
查看解答

分子为 (n1)s2=40(n-1)s^2=40,所以

σ2[4020.483177,403.246973]=[1.952822,12.319166].\sigma^2\in \left[ \frac{40}{20.483177}, \frac{40}{3.246973} \right] =[1.952822,12.319166].

端点按题目给定的六位小数分位数计算。两端均非负且下端小于上端;大分位数位于下端分母。

练习 4:Wilson 区间为何不以样本比例为中心

证明当 0<p^<1/20<\widehat p<1/2 时,Wilson 区间中心大于 p^\widehat p;当 p^>1/2\widehat p>1/2 时方向相反。

查看提示
直接比较 Wilson 中心 (p^+z2/2n)/(1+z2/n)(\hat{p}+z^{2}/2n)/(1+z^{2}/n)p^\hat{p}
查看解答

Wilson 中心与样本比例之差为

p^+z2/(2n)1+z2/np^=z2(1/2p^)/n1+z2/n.\frac{\widehat p+z^2/(2n)}{1+z^2/n} -\widehat p = \frac{z^2(1/2-\widehat p)/n}{1+z^2/n}.

分母为正,所以差的符号由 1/2p^1/2-\widehat p 决定。中心向 1/21/2 收缩,这也解释了边界附近区间的不对称。

练习 5:比例估计的保守样本量

希望二项比例的双侧 95%95\% 近似区间半宽不超过 0.030.03,且没有可靠的先验比例。用最坏情形方差规划样本量。

查看提示
未知规划比例时取 p=1/2p\star=1/2,并对结果向上取整。
查看解答

p=1/2p_\star=1/2,则

n1.9599642(1/4)0.032=1067.071.n\ge \frac{1.959964^2(1/4)}{0.03^2} =1067.071.

向上取整得 n=1068n=1068。这是基于 iid Bernoulli 与正态近似的规划值;预期失访、无回答或聚类抽样需要另作膨胀。

区间推断的知识关系与核对资源

  • 抽样分布 给出样本均值、样本方差和样本比例在重复抽样中的随机尺度。
  • 统计估计 提供估计量、偏差、方差与模型参数的基本语言。
  • 假设检验 由同一枢轴的拒绝域反演置信集合,并进一步讨论功效与多重比较。
  • 贝叶斯推断 在明确先验后以参数的后验分布表达条件不确定性,语义不同于重复抽样覆盖率。
课程 · 2016

MIT 18.650 Statistics for Applications

Philippe Rigollet

适合把随机样本、估计量评价、置信区间、检验和回归放在同一课程结构中学习,并比较有限样本结论与渐近方法。

打开官方来源

MIT OpenCourseWare 18.650 的统计推断材料可用于核对枢轴量、正态模型的有限样本分布以及区间与检验的连接。阅读时应把课程中的模型假设、自由度和渐近结论分别标记,避免把大样本近似写成有限样本恒等式。

书籍 · 2002

Statistical Inference, Second Edition

George Casella, Roger L. Berger

适合深入学习充分性、完备性、UMVU、似然、信息量、枢轴量和 Neyman–Pearson 框架的严格条件。

打开官方来源

Casella 与 Berger 的《Statistical Inference》第二版系统处理枢轴法、区间估计和检验反演。它适合继续比较等尾区间、最短期望长度等更高阶准则;使用书中结论时仍须保留参数空间与正则条件。

书籍 · 2023

Introductory Statistics 2e

Barbara Illowsky, Susan Dean

提供大量分步例题和练习,适合核对分布、样本统计量、置信区间、假设检验和简单线性回归的基础计算与解释。

打开官方来源

OpenStax《Introductory Statistics 2e》提供均值、比例和样本量的分步数值例题,适合复算分位数、标准误与端点。其入门公式需与本章的有限样本条件配合阅读,特别是小样本比例不能仅依赖 Wald 近似。

区间推断交付的不只是两个端点,还包括模型、抽样单位、置信水平、单侧或双侧方向、使用的构造法与必要的近似说明。下一章把同一概率校准改写为决策规则:在原假设下控制第一类错误,再研究备择参数下的功效。