机制可解释性：探针、激活干预与电路证据

机制问题比“哪里重要”多一步

输入归因询问当前输出怎样分配到输入特征；机制可解释性进一步询问模型内部哪些表示、组件和信息路径实现某个计算。一个机制主张至少应包含：目标行为、输入分布、候选组件、组件间变换、可观测输出指标，以及若组件被干预时应发生什么。

“某层激活与概念相关”“探针能读出标签”“注意力图看向关键词”都可作为定位线索，却不是完整机制证据。模型可能存有某信息但从未在该输出中使用；相关激活可能由共同上游因素产生；漂亮可视化可能只选择了符合故事的样本。机制研究需要从观察进入干预，再检查假设能否跨样本和反例复现。

用于本章的 SHAP 资源讨论加性局部输入归因与其公理。它在这里只用于划清边界：把输出差分配给输入特征，不等于识别网络内部算法。该论文不是机制解释论文，本章不会把它当作激活 patch、电路或因果中介的来源背书。

线性探针测量可解码性

给定某层激活 $h(x)\in\mathbb R^d$ 和标签 $z$，线性探针学习

若探针在独立测试集表现良好，可说明标签信息以该探针可访问的线性形式存在。它不说明原网络后续权重读取同一方向，也不说明信息在决策中必要。高维随机特征也可能让小数据标签线性可分，探针容量和数据划分必须控制。

探针训练应按原始实体或来源切分，标准化只用训练统计量，并与多数类、随机层、随机标签和匹配维数基线比较。非线性探针能读出更多信息，却更可能自己学习任务；比较不同层时要固定探针容量和调参预算。训练准确率不是证据，测试可解码性也仍只是关联证据。

激活相关是候选定位，不是因果结论

可以比较含某概念和不含某概念样本的神经元均值、训练稀疏分类器、聚类激活或观察注意力模式。这些分析帮助定位候选组件，但容易受长度、位置、词频、背景和数据模板混杂。应构造最小对照，只改变目标因素并匹配其他统计量。

注意力权重尤其不是完整信息流。输出还取决于 value 向量、输出投影、残差支路、归一化和后续非线性。一个头给某 token 高权重，可能传递无关或被后层抵消的向量。需要干预头输出或特定路径，并比较相同规模的随机控制组件。

相关结果还会受选层、选神经元和选提示的多重比较影响。若先浏览大量热图再挑最漂亮一张，显著性和故事都被选择过程污染。应预先定义筛选规则，或在独立数据上确认。

消融和替换测试组件是否影响行为

消融把候选激活设为零、均值或其他参考；替换把它改成来自匹配样本的激活；激活 patch 则在“干净”与“受损”运行间交换指定张量。选择干预值很关键：零可能远离自然激活分布，均值可能删除方差，随机替换会同时改变多个潜在因素。

每次干预要固定模型、输入、采样随机数和其他缓存，明确张量位于层归一化前后、残差相加前后还是注意力内部。效果可用目标 logit 差、损失、概率或任务行为衡量，指标不同会给不同尺度。与同形状随机组件、相邻层和随机 patch 比较，才能判断候选是否特别。

单组件消融的大效应可支持必要性，却可能来自对网络造成普遍损伤；小效应也不证明组件无用，因为存在冗余补偿。充分性要求仅保留或植入候选机制就能产生特定行为，但人工植入可能强到压过自然计算。必要和充分都应以受控范围陈述。

因果中介把输入效应分配到内部路径

考虑从干净输入 $x^{\mathrm c}$ 到受损输入 $x^{\mathrm k}$ 的输出变化。总效应可写成 $y(x^{\mathrm c})-y(x^{\mathrm k})$。把某个中介 $m$ 的干净值装入受损运行，测得的恢复量可作为该干预定义下的间接效应直觉；保持中介不变而更换其他路径则对应直接效应直觉。

神经网络含大量交互，总效应不一定等于各单组件 patch 效应之和。干预还可能产生训练分布外组合，所以不能直接套用观察数据中的自然中介解释。应明确 patch 的反事实世界、哪些上游重新计算、哪些缓存固定，以及结果仅对当前输入对和模型成立。

电路假设要说明计算图和算法角色

电路假设把一组神经元、子空间、注意力头、前馈单元或残差路径视为共同实现某个子计算。一个可检验电路不仅列“重要组件”，还要写出信息从哪里来、经过什么变换、在何处组合、怎样影响最终行为，以及对反例输入的预测。

证据可分层累积：观察性定位候选；消融测试必要性；patch 或人工激活测试恢复和有限充分性；路径限制检查组件是否按假设组合；在独立提示、同义改写、不同位置和对抗反例上验证；最后比较替代电路。只有注意力热图或少量样本上的吻合，仍是电路故事而非确认机制。

多义特征与基底依赖限制单神经元故事

同一神经元可能在不同上下文响应多个不相关模式，称为多义；一个语义特征也可能分布在许多坐标形成子空间。高维网络还可能把多于维数的稀疏特征叠加表示。只用“激活最高的十个样本”命名神经元，会忽略负激活、条件依赖和未展示模式。

隐藏空间可作可逆基底变换，并在下一层用逆变换补偿而保持函数相同。因而单个坐标的语义常不是参数化不变事实。结构上独立的头或通道也可能置换，命名要绑定模型检查点。子空间、方向和实际因果干预通常比词云式单神经元标签更稳健，但仍需验证。

hook 位置错误会把不同干预混为一谈

Transformer 残差块可简写为 $h_{\mathrm{out}}=h_{\mathrm{in}}+a$，其中 $a$ 是某子层输出。消融 $a$ 测试该子层增量，直接把 $h_{\mathrm{out}}$ 清零则连残差主干一起删除，破坏程度完全不同。层归一化前后 patch 也会改变尺度和跨维耦合。

复现实验要保留模型与干预的完整身份

最小记录包括模型检查点哈希、代码版本、tokenizer、精度、设备、随机种子、输入模板和数据划分；候选组件的层、位置、头、坐标或子空间；激活是在注意力、前馈、残差还是归一化前后；干预值来自零、均值、随机还是哪条匹配样本；哪些下游缓存重新计算；输出指标与聚合规则。

结果应跨独立样本、同义改写、位置变化和多个随机控制复现，并报告效应分布和不确定性，而非只有最佳案例。若研究过程中根据测试提示反复挑组件，最终需新确认集。不同批量或精度若改变激活，也应记录数值敏感性。

可复现不等于主张正确。另一个团队复现同一干预效应，只证明现象稳定；从现象到“模型执行了某算法”仍需排除替代路径、冗余、交互和普遍损伤。

机制证据的边界

机制解释可以帮助调试、发现捷径、提出安全测试和压缩假设，但局部电路不覆盖整个输入分布。模型更新、微调、量化或提示模板变化后，组件角色可能漂移。对一个行为的电路解释也不能推出模型其他能力或风险已经理解。

高风险结论应把机制证据与输入输出评测、校准、分布外测试、对抗测试和系统权限一起审查。干预发现一个有害路径，不保证不存在替代路径；找不到路径也不证明行为安全。漂亮故事的价值在于产生可证伪预测，而不是替代证据。

三个常见误区

第一，“探针能预测标签就证明模型使用该表征”。探针只证明可解码，必须检查后续读出和因果干预。

第二，“单头注意力图就是信息流电路”。value、残差和后层共同决定输出，需干预完整路径并设置控制。

第三，“给神经元起了语义名称就发现机制”。多义、分布式表示和基底旋转会改变单坐标解释，命名必须由跨样本干预支持。

练习

关系与资源

• 特征归因与反事实 提供局部输入解释及其证据边界。
• Transformer 架构 提供注意力、前馈和残差组件结构。
• 因果表征学习 提供干预和表征因果性的进一步框架。
• 安全与治理综合复习 将机制证据纳入系统风险判断。