交互实验室

步骤 45 / 45速度

loss: 4.656e-7
‖∇L‖: 0.001
解析稳定性: 稳定
临界 η: 0.789

读取当前图形说明

从固定初值 (-4.00, 2.80) 确定性计算。第 45 次迭代位于 (-0.001, 0.000)，损失 4.656e-7，梯度 (-0.001, 0.000)，速度 (0.000, -0.000)。Hessian 特征值范围为 0.764 至 2.536。参数位于该正定二次模型的解析稳定区间内。此结论只适用于当前固定 Hessian，不推出一般非凸目标的全局最优。

键盘：空格播放或暂停，左右方向键单步，Home 重置。

参数位于该正定二次模型的解析稳定区间内。此结论只适用于当前固定 Hessian，不推出一般非凸目标的全局最优。

科学说明

模型、验证与适用边界

以下说明给出当前实现、自动复算口径与适用范围。

观察目标: 比较学习率和 heavy-ball 动量对同一正定二次目标轨迹、损失与稳定性的影响。
数学模型: 目标为 f(x)=½xᵀHx，H=[[0.8,0.25],[0.25,2.5]]。更新为 vₖ₊₁=βvₖ−ηHxₖ，xₖ₊₁=xₖ+vₖ₊₁；β=0 时退化为普通梯度下降。
假设与适用范围: H 固定、对称且正定，梯度 Hx 为解析值；初值与迭代次数均由当前 URL 状态确定。
稳定性分类只针对该线性递推，不推广到随机优化或一般非凸目标。
操作步骤: 固定初值，依次选择稳定区间、临界边界和不稳定区间的学习率。
单步读取位置、速度、梯度和损失，再加入动量比较暂时上升与长期稳定性。
暂停后改变参数并重放，检查同一初值是否产生同一轨迹。
预期现象: 稳定学习率使每个 Hessian 特征模态衰减；临界学习率使最大曲率模态不再渐近衰减。
超过解析上界后至少一个模态放大；动量可造成暂时损失上升，稳定不等于逐步单调。
数值验证: 测试核对 Hessian 特征值、第一步和动量递推，并以矩阵幂闭式结果复算普通梯度下降。
稳定、临界和不稳定学习率均有确定性断言，轨迹中的损失与绘制等高线使用同一目标函数。
局限: 二维凸二次函数不代表一般神经网络损失面，也不能推出全局最优保证。
有限视窗可能在数值爆炸前截断轨迹；界面会报告解析不稳定性而不把截断误写成收敛。
相关正文: 梯度下降：从局部下降方向到可诊断的优化过程

梯度下降

正在加载交互实验…