统计推断与决策综合复习

综合分析从问题链而不是公式表开始

一份统计报告至少要回答六个连续问题：数据如何进入样本；模型中的随机对象和固定未知参数是什么；要估计哪个总体量；抽样误差如何量化；观察到的数据与某个基准是否相容；最后是否需要据此采取行动。点估计、区间、检验、功效、预测和决策分别占据这条链上的不同位置，任何一个数字都不能独自替代整条论证。

统计推断与决策工作流

设观测 $X$ 来自统计模型族 $\{P_\theta:\theta\in\Theta\}$，其中 $\theta$ 是固定但未知的参数。统计推断用 $X$ 的函数研究目标量 $g(\theta)$：点估计量 $T(X)$ 给出数值摘要，置信集 $C(X)$ 用重复抽样覆盖率表达不确定性，检验函数 $\varphi(X)$ 控制指定错误概率，预测规则面向未来随机量。若还给定行动集合 $\mathcal A$ 与损失 $L(a,\theta)$，决策规则 $\delta(X)\in\mathcal A$ 再把证据映射为行动。

这一定义故意区分估计量和估计值：$T(X)$ 在重复抽样中是随机变量，代入本次观测 $x$ 得到 $T(x)$ 才是数值。标准误是估计量抽样分布的标准差或其估计，不是原始观测的标准差。参数在频率学派模型中保持固定，随机的是样本、区间和决策规则的输出。

同一百次试验贯通五类问题

考虑一项通过/未通过试验。事先规定每次试验条件相同、相互独立，通过概率为固定未知的 $p$。观测一百次，其中六十次通过：

“独立同条件”是模型假设，不是由 $60/100$ 自动证明的事实。若试验按时间漂移、同一对象被重复测量或失败后改变流程，二项模型及后续标准误都需要修改。下面的所有数值均以该模型为前提。

点估计给中心，抽样分布给尺度

二项似然为

最大似然估计和样本比例都是

在固定 $p$ 下，

代入估计值所得标准误为

似然在观测固定后是 $p$ 的函数，用于比较不同参数值对这份数据的相对支持；在没有先验分布前，它不是“参数取该值的概率分布”，也不需要对 $p$ 积分为一。

用 score 反演得到 95% Wilson 区间

对比例，直接使用 $\widehat p\pm1.96\widehat{\operatorname{SE}}$ 的 Wald 区间得到

$$0.60\pm1.96\sqrt{\frac{0.6(0.4)}{100}} =[0.5040,0.6960].$$

本例改用反演 score 检验得到的 Wilson 区间。令 $z=1.96$，其中心和半宽为

$$c=\frac{\widehat p+z^2/(2n)}{1+z^2/n},$$

$$h=\frac{z}{1+z^2/n} \sqrt{\frac{\widehat p(1-\widehat p)}n+\frac{z^2}{4n^2}}.$$

代入 $n=100$、$\widehat p=0.60$ 得

$$c\approx0.5963, \qquad h\approx0.0943,$$

所以 95% Wilson 区间约为

$$[0.5020,0.6906].$$

频率解释是：若按同一机制反复抽取一百次试验并每次用该规则构造区间，长期约 95% 的区间覆盖固定真值 $p$。对已经观察到的这一个区间，不能在没有先验的频率模型中改写成“$p$ 有 95% 概率位于其中”。

Wald、score 与似然比不是同一个有限样本统计量

检验

三种常见方法把标准化位置选在不同地方。Wald 方法在估计值处估计方差：

score 方法在零假设处计算方差：

其带符号统计量为 $z=2$，正态近似双侧 p 值约为 $0.0455$。似然比统计量则比较受限和非受限最大似然：

三个检验给出接近但不相等的证据量

若把 $W,S,\Lambda$ 分别与 $\chi^2_1$ 近似比较，它们给出的双侧 p 值都在约 $0.04$ 至 $0.05$ 之间，在 5% 水平下对本例作出拒绝 $H_0$ 的相同决定。但

$$4.1667\ne4.0000\ne4.0271.$$

三者的联系是渐近的：在参数位于内部、模型可微、信息矩阵非退化、可识别且样本量足够时，它们通常都趋近 $\chi^2_1$。这不表示有限样本中代数相等。二项比例靠近零或一、小样本、参数在边界、弱可识别或模型错设时，近似质量和方法差异都可能显著；此时可考虑精确二项检验、稳健方法或专门的边界理论。

本例的拒绝结论只表示数据在 $p=0.5$ 模型下达到预先规定的稀有程度。p 值不是 $\mathbb P(H_0\mid X=60)$，也不是效应大小。区间下限刚超过 $0.5$ 与双侧 score 检验在 5% 水平拒绝相互呼应，因为 Wilson 区间正是该 score 检验的反演。

功效必须在采样前或替代参数下计算

显著性水平控制零假设为真时的第一类错误；功效

则要求指定一个替代参数 $p_1$。它不是由观察到的 p 值反推出来的“事后可信度”。沿用双侧正态近似检验，拒绝边界约为

或

若规划阶段认为有意义的真值是 $p_1=0.65$，则

对有意义替代值计算近似功效

在 $p_1=0.65$ 下，上侧拒绝概率近似为

$$\mathbb P_{0.65}(\widehat p>0.598) \approx \Phi\!\left(\frac{0.65-0.598}{0.04770}\right) \approx\Phi(1.090) \approx0.862.$$

下侧事件 $\widehat p<0.402$ 的概率在该近似下极小，因此总功效约为 $0.862$。这个数是连续正态近似，未作整数阈值与连续性校正；若研究结论依赖第三位小数，应按预先规定的离散拒绝域计算精确二项概率。

功效约 86% 的含义是：若真实通过率始终为 0.65，重复运行同一百次设计和同一检验，约 86% 的研究会拒绝 $p=0.5$。它不表示本次拒绝结论有 86% 概率正确，也不评价 $p=0.60$ 是否具有实际价值。

决策需要把代价写进模型

检验回答证据是否达到某个错误控制门槛，行动还取决于收益、损失和可用选择。为了展示这一点，在同一二项案例上加入一套明确的贝叶斯模型；这一步新增了先验，不能假装是前面频率检验的自然等价改写。

贝叶斯后验与贝叶斯行动

给参数 $\theta$ 指定先验分布 $\pi(\theta)$，观测 $x$ 的似然为 $L(\theta;x)$。若归一化常数有限且为正，后验分布为

$$\pi(\theta\mid x) =\frac{L(\theta;x)\pi(\theta)} {\int_\Theta L(u;x)\pi(u)\,du}.$$

给定行动 $a\in\mathcal A$ 和损失 $L_D(a,\theta)$，贝叶斯行动选择使后验期望损失

$$\rho(a\mid x) =\int_\Theta L_D(a,\theta)\pi(\theta\mid x)\,d\theta$$

最小的行动。先验与损失都是结论的组成部分，必须公开说明。

这里用 $L_D$ 表示决策损失，以免与统计似然 $L(\theta;x)$ 混淆。先验不是把二项似然“归一化一下”后自动产生的；不同先验会形成不同后验，特别是在小样本或弱信息问题中。

检验拒绝基准仍可能选择暂缓行动

明确指定均匀先验

$$p\sim\operatorname{Beta}(1,1).$$

观察六十次通过、四十次未通过后，后验为

$$p\mid x\sim\operatorname{Beta}(61,41), \qquad \mathbb E(p\mid x)=\frac{61}{102}\approx0.5980.$$

设行动只有“上线”与“暂缓”。把每百次机会中的失败代价标准化为

$$L_D(\text{上线},p)=100(1-p),$$

而暂缓的固定机会成本为

$$L_D(\text{暂缓},p)=20.$$

后验期望损失分别为

$$\rho(\text{上线}\mid x) =100\left(1-\frac{61}{102}\right) =\frac{4100}{102} \approx40.20,$$

$$\rho(\text{暂缓}\mid x)=20.$$

因此在这套先验和损失下选择暂缓。前面的 5% score 检验拒绝了 $p=0.5$，这里仍不选择上线，并不矛盾：检验门槛关心第一类错误，决策门槛实际上要求后验平均通过率高于 $0.8$。若损失或先验改变，行动可能改变，报告必须把二者与数据一起呈现。

频率风险与贝叶斯风险不能混成一个概率

对频率决策规则 $\delta(X)$，参数 $p$ 固定，频率风险是

期望只对在 $P_p$ 下重复抽样的 $X$ 计算。它是一族随 $p$ 变化的函数。给定先验 $\pi$ 后，可以再定义整合风险

并寻找使其最小的贝叶斯规则。观测数据后的后验期望损失则条件于本次 $x$。三者的随机来源不同：频率风险固定参数并平均样本，贝叶斯风险额外按先验平均参数，后验风险在观测后比较行动。

因此不能一边把 $p$ 说成固定未知，一边未经先验就写“$p$ 有某概率大于 0.5”；也不能把频率检验的第一类错误率直接当作某项行动的后验错误概率。两种框架可以比较或组合为决策程序，但每个概率都必须标明对什么随机量、在哪个条件下取期望。

线性模型同时包含参数目标和预测目标

考虑一项校准实验，解释变量 $x$ 在观测范围内，响应模型为

某次满列秩拟合有 $n=20$、$\bar x=5$、$S_{xx}=170$，得到

斜率 $2.1$ 的单位是“响应单位每一个 $x$ 单位”，表示条件均值在模型内的线性变化率。它不是单个观测的固定增量，也不在缺少随机化或识别假设时自动成为因果效应。

系数区间、均值响应与新观测预测回答不同问题

斜率标准误为

$$\operatorname{SE}(\widehat\beta_1) =\frac{0.8}{\sqrt{170}} \approx0.06136.$$

取 $t_{0.975,18}\approx2.1009$，斜率 95% 置信区间为

$$2.1\pm2.1009(0.06136) \approx[1.971,2.229].$$

在 $x_0=6$ 处，点预测为

$$\widehat m_0=1.4+2.1(6)=14.0.$$

该处均值杠杆为

$$h_0=\frac1{20}+\frac{(6-5)^2}{170} \approx0.05588.$$

均值响应标准误为 $0.8\sqrt{h_0}\approx0.1891$，故 95% 均值响应区间约为

$$14.0\pm0.3973=[13.603,14.397].$$

一个新观测的预测标准误为

$$0.8\sqrt{1+h_0}\approx0.8220,$$

所以 95% 预测区间约为

$$14.0\pm1.7270=[12.273,15.727].$$

斜率区间回答参数变化率，均值区间回答大量同条件对象的平均响应，预测区间回答一个新对象。若把 $x=20$ 代入同一直线，公式仍给数字，但它可能远离观测设计范围；参数不确定性区间不能覆盖未知的模型外推偏差。

一份合格结论要标记每个边界

抽样边界决定结果能推广到谁；模型边界决定标准误和检验分布是否成立；估计目标决定数字指向总体均值、比例、系数还是预测；误差控制边界决定 5% 是单次检验还是整个检验族；决策边界则由行动、损失和资源约束决定。

多重比较尤其不能藏在“我们还查看了几个指标”之后。若同时检验 $m$ 个假设，每项都按 5% 进行，即使各零假设都为真，至少一次误拒绝的概率一般会超过 5%。需要预先区分控制族错误率、错误发现率或报告未经调整的探索性结果；这些目标不是同一个量。

未拒绝 $H_0$ 也不等于证明相等。它可能来自效应确实很小，也可能来自标准误大、样本量不足或检验对该替代值功效低。若目标是证明差异小到可忽略，应预先给出实际等价界并使用等价性设计，而不是把 $p>0.05$ 翻译为“没有差异”。

四个常见混淆的纠正

置信区间越窄，模型就越可信

区间宽度反映给定模型和抽样设计内的估计精度。大样本可让错设模型下的区间非常窄；选择偏差、相关性、测量误差和外推偏差不会因为标准误小而消失。

p 值小就说明行动收益大

p 值按零假设分布衡量数据的极端程度，不包含收益、成本或最低重要效应。行动需要效应尺度、不确定性和损失函数；正文案例正是检验拒绝但决策暂缓。

Wald、score 与似然比有限样本并不相等

在 $n=100,x=60,p_0=0.5$ 的同一二项数据上，三个平方型统计量分别为 $4.1667$、$4.0000$ 和 $4.0271$。它们只在内部参数、可识别、光滑且信息非退化等正则条件下共享渐近极限；边界和小样本会放大差异。

频率风险和后验风险只是两种写法

频率风险在固定参数下平均重复样本，后验风险在已观察数据后按后验平均参数。二者的条件和随机对象不同；只有明确先验、损失及积分次序后才能比较。

练习：把证据、预测和行动分开复算

练习 1：对称样本中的 Wald 与 Wilson 区间标记完成

所属知识

置信区间

难度

3/5

八十次独立 Bernoulli 试验中有四十次成功。使用 $z=1.96$，计算 95% Wald 区间和 Wilson 区间，并说明覆盖率属于谁。

查看提示

当样本比例为 0.5 时，两种区间都以 0.5 为中心，但半宽不同。

查看解答

$\widehat p=0.5$。Wald 半宽为

$$1.96\sqrt{\frac{0.5(0.5)}{80}} \approx0.1096,$$

故 Wald 区间约为 $[0.3904,0.6096]$。Wilson 中心仍为 $0.5$，半宽为

$$\frac{1.96}{1+1.96^2/80} \sqrt{\frac{0.25}{80}+\frac{1.96^2}{4(80)^2}} \approx0.1070,$$

故 Wilson 区间约为 $[0.3930,0.6070]$。95% 覆盖率描述重复抽样时随机区间覆盖固定 $p$ 的长期比例，不是未指定先验时本次参数落入区间的概率。

练习 2：小样本下比较三种统计量标记完成

所属知识

假设检验

难度

4/5

二十次 Bernoulli 试验中十四次成功，检验 $H_0:p=0.5$。计算 Wald、score 与似然比的平方型统计量，不必查表。

查看提示

分别在 phat、p0 处放置方差，并用两处对数似然之差计算 LR。

查看解答

$\widehat p=0.7$。Wald 统计量为

$$W=\frac{0.2^2}{0.7(0.3)/20} \approx3.8095.$$

score 统计量为

$$S=\frac{0.2^2}{0.5(0.5)/20}=3.2.$$

似然比统计量为

$$\Lambda =2\{14\log(0.7/0.5)+6\log(0.3/0.5)\} \approx3.2913.$$

三者接近但不相等。是否采用 $\chi^2_1$ 近似还需评估样本量、内部参数与正则条件；不应仅因数值相近就宣称精确等价。

练习 3：为一侧比例检验规划样本量标记完成

所属知识

功效

难度

4/5

计划检验 $H_0:p=0.5$ 对 $H_1:p>0.5$。希望在真实值 $p_1=0.6$ 时，一侧显著性水平为 0.05、近似功效为 0.80。使用 $z_{0.95}=1.645$、$z_{0.80}=0.842$，按正态近似计算所需样本量。

查看提示

使用正态规划式，把零假设和替代假设下的标准差分别放入两项。

查看解答

常用规划近似为

$$n\approx \frac{\left[z_{0.95}\sqrt{p_0(1-p_0)} +z_{0.80}\sqrt{p_1(1-p_1)}\right]^2} {(p_1-p_0)^2}.$$

代入得到

$$n\approx \frac{[1.645(0.5)+0.842\sqrt{0.24}]^2}{0.1^2} \approx152.5210.$$

样本量必须向上取整，故至少取 $n=153$。这是正态近似规划值；实施前还应把整数拒绝域代回二项分布核对实际第一类错误与功效。

练习 4：用后验损失选择行动标记完成

所属知识

贝叶斯决策

难度

3/5

指定先验 $p\sim\operatorname{Beta}(2,2)$，十次试验中八次成功。行动“采用”的损失为 $10(1-p)$，“暂缓”的损失恒为三。求后验和贝叶斯行动。

查看提示

Beta 先验与二项似然共轭；比较两项后验期望损失。

查看解答

后验为

$$p\mid x\sim\operatorname{Beta}(2+8,2+2) =\operatorname{Beta}(10,4),$$

后验均值为 $10/14=5/7$。采用的后验期望损失为

$$10\left(1-\frac57\right)=\frac{20}{7}\approx2.857,$$

小于暂缓损失三，因此选择采用。该行动依赖明确写出的 $\operatorname{Beta}(2,2)$ 先验和两项损失；换成另一套先验或损失可能改变结论。

练习 5：同一拟合的参数与预测标记完成

所属知识

线性模型

难度

4/5

含截距简单回归有 $n=30$、$\bar x=10$、$S_{xx}=300$、$s=1.5$，拟合式为 $\widehat Y=4+0.8x$。取 $t_{0.975,28}=2.048$。求斜率 95% 区间，以及 $x_0=10$ 处的均值响应区间和新观测预测区间。

查看提示

样本中心处 $h0=1/n$；预测标准误在根号内再加一。

查看解答

斜率标准误为 $1.5/\sqrt{300}\approx0.08660$，故斜率区间为

$$0.8\pm2.048(0.08660) \approx[0.623,0.977].$$

$x_0=10$ 位于样本中心，点预测为十二，且 $h_0=1/30$。均值响应标准误为 $1.5/\sqrt{30}\approx0.2739$，所以区间约为

$$12\pm2.048(0.2739) \approx[11.439,12.561].$$

新观测标准误为

$$1.5\sqrt{1+1/30}\approx1.5248,$$

预测区间约为

$$12\pm2.048(1.5248) \approx[8.877,15.123].$$

斜率区间面向参数，均值区间面向条件平均，预测区间额外包含单个新观测噪声。

概念关系串成一条完整推断链

• 抽样分布 决定标准误、枢轴量与重复抽样覆盖率。
• 统计估计 区分估计量、估计值、偏差、方差与目标参数。
• 置信区间 把估计不确定性表达为具有指定覆盖率的随机集合。
• 假设检验 规定零假设、拒绝域、第一类错误、p 值和功效。
• 最大似然估计 提供非受限估计，并与似然比检验共享目标函数。
• 贝叶斯推断 在显式先验下形成后验，并通过损失选择行动。
• 线性模型中的统计推断 展示参数区间、模型比较、诊断和预测的条件链。

三项资源连接理论、应用与练习

书籍 · 2004

All of Statistics: A Concise Course in Statistical Inference

Larry Wasserman

适合沿经验分布、估计误差、区间与检验、决策风险和线性模型建立统一的统计推断视角。

打开官方来源

《All of Statistics》适合核对估计、区间、检验、似然、贝叶斯方法与决策理论之间的公式关系。复习时应特别追踪期望到底对样本分布、先验还是后验计算，而不是只记方法名称。

课程 · 2016

MIT 18.650 Statistics for Applications

Philippe Rigollet

适合把随机样本、估计量评价、置信区间、检验和回归放在同一课程结构中学习，并比较有限样本结论与渐近方法。

打开官方来源

MIT 18.650 的公开材料把理论推断放进应用建模流程，可用于复查似然方法、检验、回归和模型评估。对照课程例题时，应保留抽样机制、参数空间和正则条件，不能只复制软件输出。

书籍 · 2023

Introductory Statistics 2e

Barbara Illowsky, Susan Dean

提供大量分步例题和练习，适合核对分布、样本统计量、置信区间、假设检验和简单线性回归的基础计算与解释。

打开官方来源

OpenStax《Introductory Statistics》提供比例区间、假设检验、功效直觉和线性回归的分步练习，适合训练报告语言与数值复算。它面向入门应用；Wald、score、似然比的正则性差异和贝叶斯风险定义仍以本章的条件说明为准。

最终自检不问“用了多少方法”，而问每个数字是否有清楚对象： $0.60$ 是本次估计值，$[0.5020,0.6906]$ 是具有长期覆盖率的 Wilson 区间，$0.0455$ 是零假设下的近似 p 值，$0.862$ 是在指定替代值下的近似功效，$20$ 与 $40.20$ 是给定先验和损失后的行动比较。对象不混淆，统计结论的含义与边界才清晰。