指标、统计比较与多重检验

从估计目标到一个可计算指标

统计方法不能替代问题定义。一个可复核的估计目标至少说明目标总体、处理或暴露、比较条件、结局、观察时间以及单位级汇总规则。例如“新算法是否更快”过于含糊；“在目标服务器总体中，部署后首七天每台服务器任务延迟中位数相对旧算法的平均差”才明确了总体、比较、时间窗和先聚合后比较的次序。

主要指标是在看结果之前承诺用于主要结论的量。它应对应真实决策，具有稳定计算规则、方向和单位，并对缺失、异常值、零分母和重复测量给出处理。次要指标补充机制、安全性或其他维度；诊断指标帮助解释系统行为。若运行后在几十个指标中挑最显著者再称“主要”，错误率已经被选择过程改变。

比较单位必须与设计单位对应。若用户随机、每个用户产生许多会话，先定义用户级指标或采用保留用户内相关的模型；直接把全部会话视为独立通常低估标准误。若同一对象先后接受两种条件，差异发生在对象内，属于配对设计。独立组、配对、区组和聚类不是表格格式差异，而是概率结构差异。

效应量保留问题的尺度

连续结局最直接的效应量是均值差 $\Delta=\mu_1-\mu_0$，单位与原测量相同，便于判断五毫秒或两分是否重要。若不同量表必须比较，可用标准化均值差，但分母标准差选择、组间方差差异和分布形状都会影响解释；标准化并不会把效应变成跨场景恒定的事实。

二元结局可报告风险差 $p_1-p_0$、风险比 $p_1/p_0$ 或优势比

三者回答不同问题。风险差给出每百个单位增加或减少多少事件，风险比表达相对变化；优势比在事件常见时可能比风险比离一更远，不能互换措辞。正值且右偏的性能量常用均值比或对数尺度差，反变换后解释为乘法效应。无论选择哪一种，都应同时给出基线水平，因为相同相对效应可对应完全不同的绝对影响。

点估计之外还要报告区间

点估计回答样本中观察到多大差异，标准误描述该估计在重复抽样或随机化下的波动。常见大样本区间形如

其中临界值 $c$ 由覆盖目标和参考分布决定。区间给出与数据及模型相容的效应范围，不表示“参数有某个频率学置信概率落在这次已经算出的固定区间内”。更重要的是，区间同时显示实际意义：即使区间排除零，若全在可忽略范围内，结论也可能没有决策价值；若区间很宽地跨过有益和有害阈值，则证据不足。

标准误必须匹配设计。两个独立组均值差常用允许方差不等的 Welch 形式；配对设计先形成每对差，再用差值的标准差；集群随机设计按集群或聚类模型计算。自助法也要重抽独立单位：用户随机就重抽用户，班级随机就重抽班级，不能只重抽底层事件而打散相关结构。

配对与独立比较不能混用

独立组的观测来自不同单位，估计不确定性包含两组单位间变异。配对数据来自同一单位的两个条件，或设计阶段匹配的两个单位；主要信息是对内差 $D_i=Y_{i1}-Y_{i0}$。若两个条件高度正相关，配对能消去稳定的个体差异并提高精度。忽略配对会浪费信息；把本来独立的记录强行按排序配对，则人为制造相关结构。

配对均值检验关注差值分布的均值是否为零，其正态条件针对 $D_i$，不是分别针对两列原始值。独立均值比较在近似正态或样本足够且没有极端重尾时可用 Welch 检验，它不要求两组方差相等。经典等方差合并检验只有在等方差假设有依据时才合适。

参数方法与非参数方法都有条件

“非参数”不等于无假设。独立样本置换检验要求在零假设和设计下标签可交换；配对随机试验应在对内交换标签或翻转差值符号，不能任意打乱所有记录。置换单位必须是随机化单位，统计量则可选均值差、中位数差或更稳健的量。有限随机试验中，按实际分配机制生成置换分布通常最贴合设计。

Wilcoxon 符号秩检验使用配对差的绝对秩，并依赖差值分布在零假设下近似对称；只有符号检验对差值形状要求更少，但可能损失功效。Mann–Whitney 秩和检验一般检验两组分布位置关系或随机优越概率；只有在形状和离散程度相近等附加条件下，才可简化为中位数差异。把所有秩检验都称作“中位数检验”会夸大结论。

重尾、离群点、强偏态、小样本、离散和大量并列值都应影响方法选择。可报告稳健位置量、截尾均值或分位数效应，并用与其相配的区间和检验。变换要保留解释：对数尺度均值差反变换为几何均值比，不能又按原尺度加法差解释。

p 值既不是效应量也不是后验概率

给定零假设、检验统计量和抽样或随机化模型，p 值是获得“至少像当前数据这样不利于零假设”的结果概率。它不是零假设为真的概率，不是结果由随机造成的比例，也不衡量效应有多大。p 值同时受效应、噪声和样本量影响：巨大样本可使微小差异得到很小 p 值，小样本可使重要效应因区间过宽而未达到阈值。

因此报告顺序应是估计目标、效应量、区间、检验及其条件，再给 p 值。固定 $0.05$ 只是一条预先错误率规则，$0.049$ 与 $0.051$ 不构成证据性质的断崖。若停止规则、单侧或双侧方向、排除规则是在看数据后改变，名义 p 值也不再具有原先校准。

多重比较先定义一个“族”

同时检验 $m$ 个零假设，即使每个都以 $\alpha=0.05$ 判断，至少一次假阳性的概率也会增加。哪些检验构成同一族取决于决策：共同支撑一个产品发布结论的多个主要指标通常属于一族；完全不同、独立解释的问题可分开，但必须事先说明，不能为逃避校正而事后拆族。

族错误率控制关注“整族至少一个假阳性”的概率。Bonferroni 用每项阈值 $\alpha/m$，简单且不要求独立；Holm 方法把 p 值从小到大排序，逐步与 $\alpha/(m-j+1)$ 比较，通常不比 Bonferroni 更弱。错误发现率控制关注所有拒绝中假发现的期望比例，适合大规模探索。Benjamini–Hochberg 方法将排序后的 $p_{(j)}$ 与 $jq/m$ 比较，在相应依赖条件下控制目标水平 $q$。

探索与确认需要清晰边界

探索分析用于发现模式、检查异质性和生成假设，可以灵活画图、尝试指标和模型，但应完整披露搜索范围，避免把筛选后的普通区间当成未经选择的覆盖保证。确认分析用于检验预先提出的有限主张，需锁定主要指标、方向、模型、排除、缺失处理、多重性方案和停止规则。

最可靠的衔接是用一批数据探索，在独立数据或新的预先登记实验中确认。若数据昂贵，可在训练集探索、保留集确认，或采用明确的选择后推断方法，但不能反复窥视保留集。阴性主要结果不能被事后显著亚组“替换”；它可成为后续研究的候选假设。

练习

关系与资源

• 对照、随机化与功效分析 决定交换单位、配对和聚类结构。
• 置信区间 表达效应估计的精度与实际意义范围。
• 假设检验 提供错误率、检验统计量和 p 值定义。
• 统计估计 连接估计目标、偏差、方差与效应量。
• 抽样分布 解释标准误和参考分布的来源。
• 数据工作流与实验综合复习 汇总确认分析和可复核报告。