交互实验室

步骤 8 / 8速度

输出 ŷ: 0.670
损失 L: 0.068
∂L/∂w: 0.258
∂L/∂b: 0.149
差分最大误差: < 1e-8

读取当前图形说明

当前在第 8 步：用中心有限差分核对 x、w、b 三个解析梯度。前向值 z=0.810，输出=0.670，数据损失=0.036，正则损失=0.032，总损失=0.068。局部导数 φ′(z)=0.552，z 的上游梯度=0.149。权重数据分支梯度=0.178，正则分支梯度=0.080，累计权重梯度=0.258，偏置梯度=0.149，输入梯度=0.119。中心有限差分核对 x、w、b，最大相对误差为 < 1e-8。连续 5 层取相同局部导数时，其绝对值乘积为 5.11e-2。

键盘：空格播放或暂停，左右方向键单步，Home 重置。

中心有限差分核对 x、w、b，最大相对误差为 < 1e-8。连续 5 层取相同局部导数时，其绝对值乘积为 5.11e-2。

模型与操作说明

观察目标: 沿小型标量计算图区分前向值、局部导数、上游梯度、分支贡献和累计参数梯度。
数学模型: 前向计算为 $z=wx+b$ 、 $\hat y=\varphi(z)$ 、 $L=\frac12(\hat y-y^*)^2+\frac12\lambda w^2$ 。权重梯度为 $\frac{\partial L}{\partial w}=(\hat y-y^*)\varphi^{\prime}(z)x+\lambda w$ 。
假设与适用范围: 实验使用单输入、单输出的标量计算图。
ReLU 在 $z=0$ 不可微；差分模板跨过折点时不报告有效梯度核验。
操作步骤: 调整 $x$ 、 $w$ 、 $b$ 、目标、激活函数和 $L_2$ 系数，逐步执行前向与反向阶段。
读取 $\varphi^{\prime}(z)$ 、 $\partial L/\partial z$ 、权重两条分支贡献及其累计值。
比较 $x$ 、 $w$ 、 $b$ 的解析梯度与中心有限差分相对误差。
预期现象: 共享参数收到的梯度等于所有有效路径贡献之和；偏置和输入梯度由同一上游梯度继续传播。
重复因子示例显示：绝对值小于 1 的局部导数连续相乘时，梯度逐渐缩小。
计算说明: 沿计算图将各节点的局部导数相乘，可得到输出对输入的导数。
重复因子示例假设各层局部导数相同；一般网络需要逐层计算并相乘。
相关正文: 反向传播

反向传播计算图

正在加载交互实验…