C02 · 第 3 章 · 第二编 实验设计
对照、随机化与功效分析
从处理单位、随机分配和对照条件建立可解释实验,讨论区组、盲法、干扰、流失与依从性,并用效应量、方差、显著性水平、功效和样本量之间的关系规划研究。
报告页面错误本章目标
- 区分处理单位、随机化单位、测量单位和分析单位,并识别伪重复。
- 说明对照、随机分配、分配隐藏、区组和盲法分别控制哪类偏差。
- 用潜在结果语言定义个体效应与平均处理效应,理解随机化为何支持因果比较。
- 检查单位间干扰、失访和不依从是否破坏原设计,并选择相称的分析原则。
- 解释效应量、方差、显著性水平、功效和样本量的定性及近似定量关系。
本页目录
先写清楚四种单位
实验设计的第一步不是选择检验,而是定义谁接受处理、谁被随机、对谁测量、最终以谁为独立观测。处理单位是处理可以独立施加的最小实体;随机化单位是随机分配发生的实体;测量单位产生原始记录;分析单位是效应估计中视为独立的实体。四者可以相同,也可以不同。
例如把教学方法随机分给班级,再记录每名学生成绩,随机化单位是班级,测量单位是学生。把数百名学生当作相互独立的随机化单位会夸大有效样本量,因为同班学生共享教师、时段和同伴环境。这叫伪重复。重复测量增加每个单位的信息,却不会自动增加独立单位数;分析必须保留班级聚类,或者先在预先规定的层级汇总。
十二个实验室各有十台工作站。新调度策略随机分给六个实验室,旧策略分给其余六个,每台工作站记录一百次延迟。处理与随机化单位都是实验室,测量单位是一次任务,分析不能声称有一万二千个独立随机样本。
可先为每个实验室计算预先定义的平均延迟,再比较六对六的实验室级结果;也可用显式包含实验室随机效应或聚类稳健方差的模型。无论选择哪条路径,功效主要受十二个独立实验室及实验室间差异限制。增加每台机器的任务数能提高实验室均值精度,却无法完全替代增加实验室。
对照定义“如果没有该处理会怎样”
因果问题要求比较同一单位在处理与未处理状态下的结果,但现实中每个单位只能经历其中一个状态。用 与 表示单位 的两个潜在结果,个体处理效应为 ,却无法同时观测。实验通常估计总体平均处理效应
对照组提供未接受目标处理时结果的代理。无处理对照适合估计相对自然过程的变化;安慰剂对照控制期待和接触过程;主动对照比较现行方案。对照条件必须具体到接触时间、设备、默认设置和共同干预,不能只写“常规”。若处理组获得额外培训而对照组没有,观察差异同时混入培训效应。
基线测量可检验数据质量、提高精度并支持变化量或协变量调整,但“处理后减处理前”本身不等于因果效应。时间趋势、回归均值和共同事件仍可能改变结果;需要同时观察对照组的相应变化,且分析规则应事先规定。
随机分配创造设计上的可比性
随机分配不是随手交替,也不是让参与者自己选择。它要求由可复现概率机制产生分配序列,使处理标签在零效应假设下具有已知交换结构。随机化使已测量和未测量的处理前特征在重复实验意义上平衡,因此组均值差可无偏估计平均处理效应;它不保证一次具体实验的每项特征恰好相等。
分配隐藏发生在纳入单位时:招募者在确认资格前不应知道下一标签,否则可能有意或无意改变入组。盲法发生在分配后:参与者、执行者、结局评定者或分析者不知道标签,以减少行为、测量和分析选择偏差。二者解决不同环节,不能互相替代。若盲法不可行,应采用自动测量、统一脚本、盲态结局评审或预先固定分析代码降低风险。
研究者用随机数生成四十个标签,但把完整序列贴在招募台。负责纳入的人看到下一位将进入新方案,可能把边界病例延后,这会使分组与入组决定相关。序列虽然随机生成,实施过程却破坏了随机化带来的可比性。
改进方法是在资格确认、同意和基线记录完成后,由独立系统返回不可提前获知的标签;同时保存生成规则、种子、区组设置和实际分配日志。种子用于复现,不意味着研究者可以反复尝试种子直到得到喜欢的基线平衡。若发生偏离,应保留原分配并记录原因,而不是悄悄重写序列。
区组在随机化前利用已知异质性
若某个处理前变量强烈影响结局,可以先把相似单位放入区组,再在每个区组内随机分配。例如按站点和设备型号分层,或把基线值相近的两个单位配成一对。这样确保每个重要区组都包含处理与对照,并常能降低估计方差。区组变量必须在处理前可得,且区组不能细到只剩无法随机的单元。
设计怎样随机,分析就应怎样比较。配对随机试验的基本观测是每对之差;分层设计应在层内估计再按预先规则合并。忽略区组通常损失精度,错误地把配对数据当独立样本则会使用不匹配的方差。反过来,看到结果后才按许多变量寻找“最有利区组”,属于探索性分析,不能冒充预先设计。
八台旧机器与八台新机器的基础吞吐量差异明显。若完全随机,某组可能偶然包含更多新机器。设计者先按型号和基线吞吐量配成八对,每对掷一次公平硬币决定哪台使用优化编译器,另一台使用原编译器。
分析时计算每对“优化减原始”的吞吐量差,再对八个差求平均。机器代际的共同水平在对内相减时消去。若一对中的一台故障,不能把剩余机器随意与另一对重配,因为那会用处理后信息改变设计;应按预先缺失规则处理,并在报告中说明有效配对数。
干扰使一个单位拥有不止两个潜在结果
常见因果表述隐含稳定单位处理值假设:一个单位的结果只由自己的处理决定,并且“处理”没有多个未说明版本。若社交网络中一个人的提醒功能影响朋友,或服务器启用缓存后分担了其他服务器负载,就存在干扰。此时 还取决于邻居的处理向量,简单处理组与对照组差异混合了直接效应和溢出效应。
应先画出可能的影响通道。可按相互作用较强的群组随机、在群组之间留缓冲、随机处理饱和度,或明确估计“本人处理且邻居处理比例为某值”的暴露效应。集群随机化减少跨组污染,却以较少独立单位和较高方差为代价。若无法消除干扰,诚实地改变估计目标比假装单位独立更可靠。
学习平台把协作提示随机给一半学生。接受提示的学生更频繁邀请同伴,因此未接受提示者也可能受益。若逐人独立随机,处理组与对照组之差估计的是当前覆盖率和网络结构下的混合效应,不等于“无人受邻居影响时”的纯直接效应。
一种设计先把联系紧密的小组随机到不同提示覆盖率,再在组内随机个人标签。分析可比较同一覆盖率下个人标签,估计直接效应;也可比较未处理者在高、低覆盖率组的结果,估计溢出效应。随机化和分析都以组结构为条件,标准误也必须反映组内相关。
效应量、噪声、显著性水平与功效
样本量规划要先写最小有实际意义的效应 、结局标准差 、第一类错误概率 、目标功效 、分配比例和预期流失率。功效是在指定真实效应和分析规则下拒绝零假设的概率,不是研究完成后对结论可信度的评分。较小效应、较大噪声、更严格的 或更高目标功效通常都需要更多独立单位。
对于两个等大独立组、连续结局、近似正态均值比较,若每组样本量记为 ,常用规划近似为
它是规划关系,不是对所有设计通用的保证。配对相关、组间方差不等、聚类、离散结局、序贯查看和多重主要指标都会改变公式。参数应来自可靠先验研究、盲态内部方差估计或保守范围,并报告敏感性情景,不能用当前小样本中最有利的方差倒推出“足够”。
希望检测最少五毫秒的平均延迟差,历史标准差约八毫秒,双侧 ,目标功效为 。取 ,每组规划量约为
因此先向上取整为每组四十一独立单位。若预计百分之十单位没有主要结局,可按 ,规划每组四十六个。若一次单位内的一百次延迟高度相关,它们不能直接代替四十六个独立单位;应基于单位级结局或相关结构重新计算。
流失、不依从与分析原则
随机分配之后,单位可能未接受所分处理、交叉到另一组或缺少结局。只比较实际完成且依从者,会重新引入自我选择,因为依从可能与预后相关。意向性分析按最初随机标签比较,保留随机化创造的组间可比性,通常回答“分配该策略”的政策效应。依方案分析回答依从人群中的关联问题,需要更强假设,适合作为预先规定的补充而非悄悄替代主要分析。
失访也不能简单删去。应比较各组失访率与已知原因,尽量在不知道处理效果的前提下追踪结局,并对缺失机制做敏感性分析。随机化保护分配时的可比性,却不会自动修复处理后的选择性缺失。
观察性研究不能借用随机化结论
观察性研究由现实过程产生暴露,没有研究者控制的随机分配。处理者与未处理者可能在年龄、需求、风险偏好等混杂因素上系统不同。回归、匹配、加权和分层可以在明确假设下调整已测量混杂,却不能保证未测量混杂消失,也不能把时间先后自动变成因果。
报告时应区分描述性差异、条件关联和因果效应。若主张因果,需要给出目标试验、混杂结构、可交换性、正值性和一致性等假设,并做相称的诊断与敏感性分析。随机抽样解决样本能否代表目标总体,随机分配解决组间能否作因果比较;二者用途不同。
练习
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
查看提示
查看解答
关系与资源
- 概率论复习 提供随机分配和期望平衡的概率语言。
- 假设检验 连接显著性水平、错误类型与检验规则。
- 抽样分布 解释估计量方差、标准误和功效。
- 指标、统计比较与多重检验 将设计映射到效应估计和比较方法。
- 数据变换与来源追踪 保留分配、排除和汇总过程的可审计记录。
- 数据工作流与实验综合复习 汇总从设计到报告的边界。
NIST/SEMATECH e-Handbook of Statistical Methods
National Institute of Standards and Technology, SEMATECH
用于核对 C02 的随机化与阻断、实验设计选择、功效与误差、指标比较、假设检验和多重比较边界。
打开官方来源