交互实验室

步骤 8 / 8速度

输出 ŷ: 0.670
损失 L: 0.068
∂L/∂w: 0.258
∂L/∂b: 0.149
差分最大误差: < 1e-8

读取当前图形说明

当前在第 8 步：用中心有限差分核对 x、w、b 三个解析梯度。前向值 z=0.810，输出=0.670，数据损失=0.036，正则损失=0.032，总损失=0.068。局部导数 φ′(z)=0.552，z 的上游梯度=0.149。权重数据分支梯度=0.178，正则分支梯度=0.080，累计权重梯度=0.258，偏置梯度=0.149，输入梯度=0.119。中心有限差分核对 x、w、b，最大相对误差为 < 1e-8。若仅假设连续 5 层具有相同局部导数，其绝对值乘积为 5.11e-2；这不是完整网络梯度。

键盘：空格播放或暂停，左右方向键单步，Home 重置。

用中心有限差分核对 x、w、b 三个解析梯度。中心有限差分核对 x、w、b，最大相对误差为 < 1e-8。若仅假设连续 5 层具有相同局部导数，其绝对值乘积为 5.11e-2；这不是完整网络梯度。

科学说明

模型、验证与适用边界

以下说明给出当前实现、自动复算口径与适用范围。

观察目标: 沿小型标量计算图区分前向值、局部导数、上游梯度、分支贡献和累计参数梯度。
数学模型: 计算 z=wx+b、ŷ=φ(z)、L=½(ŷ−y*)²+½λw²。权重梯度由数据分支 (ŷ−y*)φ′(z)x 与正则分支 λw 相加。
假设与适用范围: 这是单输入、单输出的标量或小型计算图，不代表完整深层网络训练。
ReLU 在 z=0 不可微；差分模板跨过折点时不报告有效梯度核验。
操作步骤: 调整 x、w、b、目标、激活函数和 L2 系数，逐步执行前向与反向阶段。
读取 φ′(z)、∂L/∂z、权重两条分支贡献及其累计值。
比较 x、w、b 的解析梯度与中心有限差分相对误差。
预期现象: 共享参数收到的梯度等于所有有效路径贡献之和；偏置和输入梯度由同一上游梯度继续传播。
连续相乘的小局部导数会缩小梯度，但界面中的重复因子只是假设诊断。
数值验证: 多组 tanh、sigmoid 与 ReLU 参数对 x、w、b 做中心有限差分，记录最大相对误差。
测试单独复算数据分支、正则分支和累计权重梯度，并检查 ReLU 折点的拒绝条件。
局限: 实验不包含向量 Jacobian、批量归一化、残差网络或优化器状态。
相同局部导数的幂不能替代逐层权重和不同激活值构成的完整链式乘积。
相关正文: 反向传播：链式法则如何训练神经网络

反向传播计算图

正在加载交互实验…