参数初始化与梯度流

初始化先决定信号处在哪个尺度

深层网络在第一次更新前已经执行许多矩阵乘法与非线性。权重太小会让激活和梯度逐层衰减，太大会让它们放大、饱和或溢出。所有权重初始化为零还会让同层神经元保持完全对称，接收相同梯度，宽层退化为重复单元；因此需要随机破坏对称，同时控制尺度。

初始化不是独立于架构的常数表。激活函数、扇入扇出、残差缩放、归一化位置、偏置、数据尺度和损失都影响传播。Xavier 或 He 公式是在特定近似下的起点，不是对任意网络保证“方差永远不变”的定理。

仿射层前向方差来自扇入求和

考虑单个预激活

若 $W_{ji}$ 相互独立、均值为零，与 $a_i$ 近似独立；$a_i$ 也近似同分布且交叉协方差可忽略，偏置初始为零，则

若激活均值也为零，二阶矩等于方差；ReLU 输出均值不为零，继续传播时应使用二阶矩而不是机械替换成方差。实际训练中权重和激活很快相关，卷积共享、注意力和残差又破坏独立假设，因此该式是尺度近似。

Xavier 在近线性激活中折中前向与反向

对线性或工作在零附近的 tanh，若希望前向方差保持，可取 $\operatorname{Var}(W)\approx1/n_{\mathrm{in}}$。反向梯度从下一层按 $W^\top$ 求和，希望梯度方差保持则倾向 $1/n_{\mathrm{out}}$。扇入扇出不同无法同时精确满足，Xavier 常用折中

高斯初始化使用相应标准差；均匀分布 $[-a,a]$ 的方差为 $a^2/3$，因此令 $a=\sqrt{6/(n_{\mathrm{in}}+n_{\mathrm{out}})}$ 得同一方差。比较初始化必须比较方差而非把不同分布的“范围”直接相等。

tanh 只有在预激活靠近零时导数接近一；尺度过大使输出靠近正负一、导数接近零，Xavier 的线性近似失效。sigmoid 在零处最大导数也只有四分之一，且输出均值约二分之一，深层无中心化传播更容易偏移和衰减。

He 尺度补偿 ReLU 门控

对称预激活和 ReLU 的近似下，约一半单元导数为一、另一半为零。为了补偿前向二阶矩与反向梯度二阶矩的二分之一，常取

作为前向优先的 He 初始化；若从扇出角度保护反向，也有使用 $2/n_{\mathrm{out}}$ 的变体。带负斜率 $c$ 的 leaky ReLU 可将因子改为约 $2/(1+c^2)$ 再除以相应扇数。

卷积层的扇入通常是输入通道数乘核空间大小，分组卷积还要除以组数；转置卷积和特殊张量布局需要按实际每个输出汇聚的独立输入数定义。错误地只用通道数，会让尺度差一个核面积倍数。

反向方差还乘激活导数

层 $z^{(l)}=W^{(l)}a^{(l-1)},a^{(l)}=\phi(z^{(l)})$ 的反向近似为

在类似独立近似下，梯度二阶矩每层乘上扇出、权重方差和 $\mathbb E[(\phi')^2]$。这些因子长期小于一产生消失，大于一产生爆炸；它们不是常数，随预激活分布和训练状态变化。

ReLU 正区间导数一，不会像 sigmoid 持续乘小于一的平滑导数，却可能因预激活长期为负而成为死亡单元。大负偏置、过大学习率或不合适数据中心会让某单元对所有样本梯度为零。leaky ReLU 保留负侧小斜率，但也会改变合适方差因子。

Jacobian 的方向性比单个方差更完整

方差稳定只控制平均二阶尺度，不能保证每个方向都稳定。深网络总 Jacobian 是多层局部 Jacobian 的乘积；若奇异值分布很宽，有些方向爆炸、另一些消失，即使总体方差看似正常。正交权重、合适尺度和残差路径可改善方向传播，但非线性门控、宽度变化和训练更新仍会改变谱。

实践中不必为大网络显式形成完整 Jacobian。可以用随机 JVP/VJP 估计范数放大，或记录层输入梯度与输出梯度的均方根比。方差推导用于提出初始尺度，真实计算图统计用于验证。

归一化重新控制中间尺度

批归一化使用小批统计标准化每个通道，再应用可学习缩放和平移；层归一化在每个样本的指定特征轴上归一。它们能减轻中间均值和尺度漂移，让更宽初始化范围可训练，但并不让初始化无关：归一化前的溢出、极小方差、可学习缩放和非归一化首尾层仍受影响。

批归一化依赖批组成，并在推理时使用运行统计；小批、非独立序列或训练推理分布变化会造成差异。层归一化不依赖批统计，却改变的是每样本内部尺度。选择归一化轴必须匹配张量语义。归一化还会改变梯度耦合，不能把它当作单纯除以标准差的固定常数层。

残差路径提供接近恒等的梯度通道

残差块写成

其局部 Jacobian 为 $I+J_{F_l}$。即使残差分支梯度较小，恒等项仍提供直接路径，缓解纯乘积链的衰减。若维度变化，需要投影分支，直接路径不再严格恒等；若 $F_l$ 初始幅度很大，$I+J_F$ 的反复乘积仍可能爆炸或扭曲。

偏置与输出层需要任务特定处理

隐藏层偏置常初始化为零，以免无依据移动激活；但 ReLU 偏置小正值是否有益取决于数据与归一化，不能通用化。类别极不平衡的二元输出层可把初始偏置设为目标先验对数优势 $\log(p/(1-p))$，使初始概率接近基线，减少早期巨大损失；这要求先验来自训练数据且部署比例稳定。

回归输出层尺度应匹配目标标准化。若目标数值很大而输出权重极小，初始残差和梯度可很大；先对训练目标中心化缩放并在输出反变换，通常更容易诊断。任何训练统计只能由训练集估计。

逐层统计把公式变成可核验假设

在更新前取一个固定小批，记录每层预激活与激活的均值、标准差或均方根、最小最大值、ReLU 零比例、sigmoid 或 tanh 饱和比例。执行一次反向后记录参数梯度和激活梯度的均方根、范数、非有限值、零梯度比例，以及更新量与参数量之比。

统计要跨多个随机种子重复，因为单次宽层近似也会波动。全局梯度范数正常可能掩盖早层接近零和末层很大，应画逐层对数尺度。梯度裁剪能阻止一次爆炸更新，却不修复持续错误的传播机制；它应作为明确优化策略并记录裁剪频率。

训练诊断按最小变更推进

第一步固定数据批、模型模式、精度和种子，只做前向，检查形状、输出基线和激活分布。第二步做一次反向，检查损失有限、梯度存在、逐层尺度和共享参数累加。第三步在极小数据上用无正则设置尝试过拟合，确认模型与优化器有足够能力。第四步才比较初始化、归一化、残差缩放和学习率，每次只改一个因素。

损失不下降可能来自错误标签、停止梯度、学习率过小、饱和或优化器没有参数；损失震荡或发散可能来自尺度爆炸、学习率过大、归约从均值误成求和或低精度溢出。初始化只是候选原因，必须由统计证据定位。

练习

关系与资源

• 激活函数与非线性表示 决定输出二阶矩、饱和和局部导数。
• 期望、方差与协方差 提供独立和相关项传播基础。
• 矩阵乘法 连接扇入、扇出和张量形状。
• 反向传播 给出逐层伴随量和参数梯度。
• 归一化方法与尺度控制 延伸训练与推理统计的尺度管理。
• 残差连接 提供接近恒等的深层信息与梯度路径。
• 神经网络与反向传播综合复习 将初始化诊断纳入完整训练审计。