公式索引

300 条公式
  1. 式 41

    机器学习 · 神经网络 · 约束

    边界框参数化

    教材位置:A06 · 目标检测与多尺度特征

    cx=x1+x22,cy=y1+y22,w=x2−x1,h=y2−y1.c_x=\frac{x_1+x_2}{2},\quad c_y=\frac{y_1+y_2}{2}, \quad w=x_2-x_1,\quad h=y_2-y_1.
    成立条件
    • 图像分类为整幅图输出类别,目标检测则输出若干对象,每个对象含类别、置信度和空间边界框。
    • 若图像先等比缩放再填充,解码后的框还要逆缩放并减去填充偏移,最后按原图范围裁剪。
    阅读正文 ↗
    变量与应用

    变量

    cxc_{x}
    用下标 x 区分 c 的分量、样本或离散状态,单位:由上下文确定
    x1x_{1}
    用下标 1 区分 x 的分量、样本或离散状态,单位:由上下文确定
    x2x_{2}
    用下标 2 区分 x 的分量、样本或离散状态,单位:由上下文确定
    cyc_{y}
    用下标 y 区分 c 的分量、样本或离散状态,单位:由上下文确定
    y1y_{1}
    用下标 1 区分 y 的分量、样本或离散状态,单位:由上下文确定
    y2y_{2}
    用下标 2 区分 y 的分量、样本或离散状态,单位:由上下文确定
    ww
    在“边界框参数化”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    hh
    在“边界框参数化”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把锚框匹配、分类回归联合损失整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:数据合同要定义坐标原点、轴方向、像素边界是否闭合、框是否允许越界、图像缩放与填充如何反变换。
    • 推导:A06 · 目标检测与多尺度特征
  2. 式 42

    机器学习 · 神经网络 · 典范公式

    编码器的双向上下文

    教材位置:A07 · 编码器、解码器与 Transformer 架构

    FFN⁡(x)=W2ϕ(W1x+b1)+b2,\operatorname{FFN}(x)=W_2\phi(W_1x+b_1)+b_2,
    成立条件
    • 编码器自注意力的 Q、K、V 都来自当前序列,通常只用 padding mask,不用因果 mask。
    • 设 B=2,N=4,d=8,H=2,dk=dv=4,dff=16B=2,N=4,d=8,H=2,d_k=d_v=4,d_{\mathrm{ff}}=16。
    阅读正文 ↗
    变量与应用

    变量

    xx
    在“编码器的双向上下文”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    W2W_{2}
    用下标 2 区分 W 的分量、样本或离散状态,单位:由上下文确定
    ϕ\phi
    在“编码器的双向上下文”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    W1W_{1}
    用下标 1 区分 W 的分量、样本或离散状态,单位:由上下文确定
    b1b_{1}
    用下标 1 区分 b 的分量、样本或离散状态,单位:由上下文确定
    b2b_{2}
    用下标 2 区分 b 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把解码器因果注意力与交叉注意力整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若任务要求在线流式处理,双向注意力会读取尚未到达的未来,必须改成块状、因果或有限右上下文,而不能只在部署时截断。
    • 推导:A07 · 编码器、解码器与 Transformer 架构
  3. 式 43

    机器学习 · 神经网络 · 典范公式

    标签平滑与监督目标

    教材位置:A05 · 正则化、数据增强与早停

    yk′=(1−ε)yk+εK.y'_k=(1-\varepsilon)y_k+\frac{\varepsilon}{K}.
    成立条件
    • 混合两样本的增强还会混合标签,隐含目标在输入间平滑的假设。
    • 它可缓解过度自信和标签噪声敏感,但也改变最优概率与校准,不能假设必然改善可靠性。
    阅读正文 ↗
    变量与应用

    变量

    yy
    在“标签平滑与监督目标”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    kk
    在“标签平滑与监督目标”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ε\varepsilon
    在“标签平滑与监督目标”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    yky_{k}
    用下标 k 区分 y 的分量、样本或离散状态,单位:由上下文确定
    KK
    与查询计算缩放相似度,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把图像、文本增强中的标签保持假设整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:它可缓解过度自信和标签噪声敏感,但也改变最优概率与校准,不能假设必然改善可靠性。
    • 推导:A05 · 正则化、数据增强与早停
  4. 式 44

    机器学习 · 学习基础 · 典范公式

    表格 Q-learning 的收敛条件

    教材位置:A10 · Q-learning、探索与函数逼近

    ∑kαk(s,a)=∞,∑kαk(s,a)2<∞.\sum_k\alpha_k(s,a)=\infty, \qquad \sum_k\alpha_k(s,a)^2<\infty.
    成立条件
    • 固定正步长一般在随机目标附近持续波动,适合跟踪非平稳环境,却不满足精确收敛条件。
    • epsilon随时间降到零若同时保证每对仍被无限访问,可形成“无限探索且最终贪心”的条件;下降太快会失去覆盖,恒定epsilon则保持探索但行为策略不会变成完全贪心。
    阅读正文 ↗
    变量与应用

    变量

    kk
    标记当前或下一次更新,单位:由上下文确定
    αk\alpha_{k}
    用下标 k 区分 alpha 的分量、样本或离散状态,单位:由上下文确定
    ss
    在“表格 Q-learning 的收敛条件”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    aa
    在“表格 Q-learning 的收敛条件”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把ε-greedy、乐观初始化与探索覆盖整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:有限训练预算下只能检查访问数、误差和独立回报,不能从渐近定理直接声称已经到达 q∗q_*。
    • 推导:A10 · Q-learning、探索与函数逼近
  5. 式 45

    机器学习 · 神经网络 · 典范公式

    表示坍塌的诊断

    教材位置:A08 · 表示质量、坍塌与自监督学习综合复习

    Align⁡=1n∑i∥ui−ui+∥22.\operatorname{Align} =\frac1n\sum_i\lVert u_i-u_i^+\rVert_2^2.
    成立条件
    • 若任务标签只由第一维符号决定,冻结线性探测仍可成功;若另一任务依赖被删除的第二因素,则会失败。
    • 若把这些向量归一化,只剩 (1,0)(1,0) 与 (−1,0)(-1,0) 两个点,实例级差异进一步消失。
    阅读正文 ↗
    变量与应用

    变量

    nn
    在“表示坍塌的诊断”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ii
    在“表示坍塌的诊断”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    uiu_{i}
    用下标 i 区分 u 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把均匀性、对齐度与各向异性诊断整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:三者会影响最近邻、阈值和数值稳定性,但不能只靠二维投影图判断。
    • 推导:A08 · 表示质量、坍塌与自监督学习综合复习
  6. 式 46

    机器学习 · 神经网络 · 典范公式

    参数共享与平移等变

    教材位置:A11 · 不变性、等变性与群作用

    Conv⁡(Tkx)=TkConv⁡(x).\operatorname{Conv}(T_kx)=T_k\operatorname{Conv}(x).
    成立条件
    • 若输出固定取第一个元素,原值为一、置换后为二,不满足不变性。
    • 若使用零填充,边界处缺少循环邻居,这个三点循环群等变性不再成立;内部位置近似共享不能推出整个有限图像严格平移等变。
    阅读正文 ↗
    变量与应用

    变量

    TkT_{k}
    用下标 k 区分 T 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“参数共享与平移等变”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把不变读出与等变层的组合整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:数值相等必须对全部允许置换成立,单个样本偶然相等不能建立结构结论。
    • 推导:A11 · 不变性、等变性与群作用
  7. 式 47

    机器学习 · 生成模型 · 约束

    从边缘似然推导证据下界

    教材位置:A09 · 变分自编码器与证据下界

    log⁡pθ(x)≥Eqϕ(z∣x)[log⁡pθ(x,z)−log⁡qϕ(z∣x)]=LELBO(x).\log p_\theta(x) \ge \mathbb E_{q_\phi(z\mid x)} \left[\log p_\theta(x,z)-\log q_\phi(z\mid x)\right] =\mathcal L_{\mathrm{ELBO}}(x).
    成立条件
    • 训练时用它提出可能解释当前 xx 的潜变量,生成新样本时则应从 p(z)p(z) 而非某个训练样本的 qϕ(z∣x)q_\phi(z\mid x) 开始。
    • 设潜变量只有 z1,z2z_1,z_2,近似后验各给概率 1/21/2。
    阅读正文 ↗
    变量与应用

    变量

    pθp_{\theta}
    用下标 theta 区分 p 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“从边缘似然推导证据下界”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    qϕq_{\phi}
    用下标 phi 区分 q 的分量、样本或离散状态,单位:由上下文确定
    zz
    在“从边缘似然推导证据下界”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    LL
    在“从边缘似然推导证据下界”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把证据下界中的重构项与 KL 项整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:因此 ELBO 不能称为已算出的真实对数似然。
    • 推导:A09 · 变分自编码器与证据下界
  8. 式 48

    机器学习 · 神经网络 · 典范公式

    从二维网格到标记序列

    教材位置:A06 · 视觉 Transformer 与混合架构

    Hp=HPh,Wp=WPw,N=HpWp.H_p=\frac{H}{P_h},\qquad W_p=\frac{W}{P_w},\qquad N=H_pW_p.
    成立条件
    • 设一批图像张量为 X∈RB×H×W×CX\in\mathbb{R}^{B\times H\times W\times C},非重叠块高宽为 Ph,PwP_h,P_w。
    • 若 HH 或 WW 不能整除块尺寸,必须固定裁剪、补边或可变块规则。
    阅读正文 ↗
    变量与应用

    变量

    HpH_{p}
    用下标 p 区分 H 的分量、样本或离散状态,单位:由上下文确定
    HH
    在“从二维网格到标记序列”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    PhP_{h}
    用下标 h 区分 P 的分量、样本或离散状态,单位:由上下文确定
    WpW_{p}
    用下标 p 区分 W 的分量、样本或离散状态,单位:由上下文确定
    WW
    在“从二维网格到标记序列”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    PwP_{w}
    用下标 w 区分 P 的分量、样本或离散状态,单位:由上下文确定
    NN
    在“从二维网格到标记序列”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把全局自注意力与局部窗口机制整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若 HH 或 WW 不能整除块尺寸,必须固定裁剪、补边或可变块规则。
    • 推导:A06 · 视觉 Transformer 与混合架构
  9. 式 49

    机器学习 · 神经网络 · 定义式

    带间隔的线性可分

    教材位置:A04 · 感知机与多层感知器

    yi(wTxi+b)≥γy_i(w^{\mathsf T}x_i+b)\ge\gamma
    成立条件
    • 若再约束 ∥w∥2=1\lVert w\rVert_2=1,γ\gamma 才具有可比较的几何距离意义。
    • 多层感知机加入非线性后可以表示非线性决策边界,但“存在一种参数表示”不同于“给定优化器能从有限数据找到并泛化”。
    阅读正文 ↗
    变量与应用

    变量

    yiy_{i}
    用下标 i 区分 y 的分量、样本或离散状态,单位:由上下文确定
    ww
    在“带间隔的线性可分”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    xix_{i}
    用下标 i 区分 x 的分量、样本或离散状态,单位:由上下文确定
    bb
    在“带间隔的线性可分”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    γ\gamma
    在“带间隔的线性可分”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把隐藏层、仿射变换与非线性组合整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:多层感知机加入非线性后可以表示非线性决策边界,但“存在一种参数表示”不同于“给定优化器能从有限数据找到并泛化”。
    • 推导:A04 · 感知机与多层感知器
  10. 式 50

    机器学习 · 神经网络 · 典范公式

    动量的方向累积

    教材位置:A05 · 随机梯度、动量与自适应方法

    θt+1=(1+β−ηa)θt−βθt−1.\theta_{t+1}=(1+\beta-\eta a)\theta_t-\beta\theta_{t-1}.
    成立条件
    • 对二次目标,稳定性由学习率、β\beta 与 Hessian 特征值共同决定;β\beta 越接近一,记忆越长,也越可能在突然改变的曲率或梯度尺度下过冲。
    • 在 0≤β<10\le\beta<1 下,两个特征根都落在单位圆内的条件是 0<ηa<2(1+β)0<\eta a<2(1+\beta)。
    阅读正文 ↗
    变量与应用

    变量

    θt−1\theta_{t-1}
    用下标 t+1 区分 theta 的分量、样本或离散状态,单位:由上下文确定
    β\beta
    在“动量的方向累积”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    η\eta
    在“动量的方向累积”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    aa
    在“动量的方向累积”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    θt\theta_{t}
    用下标 t 区分 theta 的分量、样本或离散状态,单位:由上下文确定
    θt−1\theta_{t-1}
    用下标 t-1 区分 theta 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把动量、Nesterov 加速与振荡抑制整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:检测到爆炸梯度时应先定位数据、模型和精度原因,梯度裁剪可限制更新但会改变估计方向和偏差,不能替代诊断。
    • 推导:A05 · 随机梯度、动量与自适应方法
  11. 式 51

    机器学习 · 神经网络 · 典范公式

    动态图的状态表示

    教材位置:A11 · 图生成、图动力学与物理系统

    mijt=ϕe(hit,hjt,eijt,ut),mit=∑j∈N(i)mijt,m_{ij}^t=\phi_e(h_i^t,h_j^t,e_{ij}^t,u^t),\qquad m_i^t=\sum_{j\in\mathcal N(i)}m_{ij}^t,
    成立条件
    • 训练第二步时真实前缀含 abab,模型学习“把当前端点 bb 接到新节点 cc”。
    • 若控制动作存在,可把它作为节点或全局输入;若系统只部分可观测,当前图特征未必是 Markov 状态,需要历史或隐状态。
    阅读正文 ↗
    变量与应用

    变量

    mijm_{ij}
    用下标 ij 区分 m 的分量、样本或离散状态,单位:由上下文确定
    tt
    在“动态图的状态表示”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ϕe\phi_{e}
    用下标 e 区分 phi 的分量、样本或离散状态,单位:由上下文确定
    hih_{i}
    用下标 i 区分 h 的分量、样本或离散状态,单位:由上下文确定
    hjh_{j}
    用下标 j 区分 h 的分量、样本或离散状态,单位:由上下文确定
    eije_{ij}
    用下标 ij 区分 e 的分量、样本或离散状态,单位:由上下文确定
    uu
    在“动态图的状态表示”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    mim_{i}
    用下标 i 区分 m 的分量、样本或离散状态,单位:由上下文确定
    jj
    在“动态图的状态表示”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    NN
    在“动态图的状态表示”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ii
    在“动态图的状态表示”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把动力系统图上的时间消息传递整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:混入模型前缀训练会改变状态分布,但不能自动修复目标设计和不可逆错误。
    • 推导:A11 · 图生成、图动力学与物理系统
  12. 式 52

    机器学习 · 神经网络 · 典范公式

    端到端成功率

    教材位置:A12 · 系统评估、故障模式与智能体综合复习

    Si=1[目标完成∧关键证据正确∧副作用正确∧无关键违规],SuccessRate⁡=1N∑i=1NSi.S_i= \mathbf 1[ \text{目标完成} \land\text{关键证据正确} \land\text{副作用正确} \land\text{无关键违规} ], \qquad \operatorname{SuccessRate} =\frac1N\sum_{i=1}^{N}S_i.
    成立条件
    • 模型摘要若写入长期记忆,会把推测放大为后续“事实”。
    • 还应保留步骤级指标定位:设备识别、检索召回、声明支持、工具选择、参数正确、审批遵守、错误恢复和终止。
    阅读正文 ↗
    变量与应用

    变量

    SiS_{i}
    用下标 i 区分 S 的分量、样本或离散状态,单位:由上下文确定
    NN
    在“端到端成功率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ii
    在“端到端成功率”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把工具错误、检索污染与上下文漂移整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:计划可被观测更新,但权限边界不随计划改变。
    • 推导:A12 · 系统评估、故障模式与智能体综合复习
  13. 式 53

    机器学习 · 神经网络 · 典范公式

    多项式图滤波

    教材位置:A11 · 谱图方法与流形学习

    g(L)x≈∑k=0KckLkx,g(L)x\approx\sum_{k=0}^Kc_kL^kx,
    成立条件
    • 因此直接把第 kk 列数值当作具有固定正方向的语义特征,需要符号对齐或对符号不敏感的处理;跨图使用时还要处理特征值穿越和维数变化。
    • 若加到三次幂,节点四才可能收到信号。
    阅读正文 ↗
    变量与应用

    变量

    gg
    在“多项式图滤波”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    LL
    在“多项式图滤波”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    xx
    在“多项式图滤波”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    kk
    在“多项式图滤波”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    KckKc_{k}
    用下标 k 区分 Kc 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把Chebyshev 近似与局部消息传递联系整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:更一般的共享线性邻居聚合常能写成邻接或Laplacian多项式;加入特征矩阵、可学习通道映射和逐点非线性后,空间消息传递仍保持局部计算,却不再等于一次固定线性谱滤波。
    • 推导:A11 · 谱图方法与流形学习
  14. 式 54

    机器学习 · 学习基础 · 定义式

    泛化间隙

    教材位置:A01 · 过拟合、泛化与模型选择

    R(f)−R^train(f)R(f)-\widehat R_{\mathrm{train}}(f)
    成立条件
    • 过拟合原因可以是高容量模型记住训练噪声,可通过不同样本量学习曲线和正则化比较核查;分布原因可以是验证数据来自更新设备,可按设备与时间分组检查特征和误差;实现原因可以是验证阶段标准化方式不同,应审计同一预处理流水线并用小批样本逐项比对。
    • 若同一验证集被反复用于特征选择、超参数搜索和停止训练,最终验证分数已经参与模型构造,不能再当作一次独立泛化估计。
    阅读正文 ↗
    变量与应用

    变量

    RR
    在“泛化间隙”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ff
    在“泛化间隙”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    RR
    在“泛化间隙”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把模型容量、偏差方差与验证曲线整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若同一验证集被反复用于特征选择、超参数搜索和停止训练,最终验证分数已经参与模型构造,不能再当作一次独立泛化估计。
    • 推导:A01 · 过拟合、泛化与模型选择
  15. 式 55

    机器学习 · 神经网络 · 约束

    范数约束与语义约束

    教材位置:A13 · 鲁棒性、对抗攻击与防御评估

    Sp(x)={x+δ:∥δ∥p≤ε,x+δ∈X}.\mathcal S_p(x)=\{x+\delta:\lVert\delta\rVert_p\le\varepsilon, x+\delta\in\mathcal X\}.
    成立条件
    • 若是目标攻击,常改为让模型偏向指定 ytary_{\mathrm{tar}}。
    • 同一个防御在不同集合下可能一强一弱;“对抗鲁棒”不能省略集合、预算、攻击知识和成功标准。
    阅读正文 ↗
    变量与应用

    变量

    SpS_{p}
    用下标 p 区分 S 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“范数约束与语义约束”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    δ\delta
    在“范数约束与语义约束”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    pp
    在“范数约束与语义约束”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ε\varepsilon
    在“范数约束与语义约束”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    XX
    在“范数约束与语义约束”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把FGSM、PGD 与自适应攻击评估整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:用高斯噪声准确率替代自适应最坏攻击,不能回答白盒威胁。
    • 推导:A13 · 鲁棒性、对抗攻击与防御评估
  16. 式 56

    机器学习 · 神经网络 · 典范公式

    仿射层的前向方差

    教材位置:A04 · 参数初始化与梯度传播

    zj=∑i=1ninWjiai+bj.z_j=\sum_{i=1}^{n_{\mathrm{in}}}W_{ji}a_i+b_j.
    成立条件
    • Xavier 或 He 公式是在特定近似下的起点,不是对任意网络保证“方差永远不变”的定理。
    • 若激活均值也为零,二阶矩等于方差;ReLU 输出均值不为零,继续传播时应使用二阶矩而不是机械替换成方差。
    阅读正文 ↗
    变量与应用

    变量

    zjz_{j}
    用下标 j 区分 z 的分量、样本或离散状态,单位:由上下文确定
    ii
    在“仿射层的前向方差”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    nn
    在“仿射层的前向方差”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    WjiW_{ji}
    用下标 ji 区分 W 的分量、样本或离散状态,单位:由上下文确定
    aia_{i}
    用下标 i 区分 a 的分量、样本或离散状态,单位:由上下文确定
    bjb_{j}
    用下标 j 区分 b 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把ReLU 激活下的 He 初始化整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:所有权重初始化为零还会让同层神经元保持完全对称,接收相同梯度,宽层退化为重复单元;因此需要随机破坏对称,同时控制尺度。
    • 推导:A04 · 参数初始化与梯度传播
  17. 式 57

    机器学习 · 生成模型 · 典范公式

    仿射耦合层

    教材位置:A09 · 正规化流与可逆变换

    ya=xa,yb=xb⊙exp⁡sθ(xa)+tθ(xa).y_a=x_a,\qquad y_b=x_b\odot\exp s_\theta(x_a)+t_\theta(x_a).
    成立条件
    • 若基分布为二维标准正态,log⁡pZ(1,2)=−log⁡(2π)−(12+22)/2≈−4.3379\log p_Z(1,2)=-\log(2\pi)-(1^2+2^2)/2\approx-4.3379,数据对数密度相同。
    • 二维输入分为 xa=1,xb=2x_a=1,x_b=2,设 s(xa)=log⁡2s(x_a)=\log2、t(xa)=−1t(x_a)=-1。
    阅读正文 ↗
    变量与应用

    变量

    yay_{a}
    用下标 a 区分 y 的分量、样本或离散状态,单位:由上下文确定
    xax_{a}
    用下标 a 区分 x 的分量、样本或离散状态,单位:由上下文确定
    yby_{b}
    用下标 b 区分 y 的分量、样本或离散状态,单位:由上下文确定
    xbx_{b}
    用下标 b 区分 x 的分量、样本或离散状态,单位:由上下文确定
    sθs_{\theta}
    用下标 theta 区分 s 的分量、样本或离散状态,单位:由上下文确定
    tθt_{\theta}
    用下标 theta 区分 t 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把耦合层、Jacobian 行列式与精确似然整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:正文未把极限情形单列为独立公式;适用边界以本小节声明的定义域、假设和边界条件为限。
    • 推导:A09 · 正规化流与可逆变换
  18. 式 58

    机器学习 · 生成模型 · 典范公式

    非饱和损失与平衡点

    教材位置:A09 · 生成对抗网络与散度最小化

    LGminimax=Ezlog⁡(1−D(G(z))).L_G^{\mathrm{minimax}}=\mathbb E_z\log(1-D(G(z))).
    成立条件
    • 若两分布支持集几乎不相交,理想判别器可在真实处接近一、生成处接近零,Jensen–Shannon值在局部可能缺少有用变化。
    • 若判别器logit为 ss 且 D=σ(s)D=\sigma(s),单样本损失对 ss 的导数为 −D-D。
    阅读正文 ↗
    变量与应用

    变量

    LGL_{G}
    用下标 G 区分 L 的分量、样本或离散状态,单位:由上下文确定
    zz
    在“非饱和损失与平衡点”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    GG
    在“非饱和损失与平衡点”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把非饱和损失、Wasserstein 距离与梯度惩罚整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:有限步交替训练时,DϕD_\phi 通常不是 D∗D^*,生成器沿当前神经判别器提供的梯度移动,不能说每一步都在精确下降Jensen–Shannon散度。
    • 推导:A09 · 生成对抗网络与散度最小化
  19. 式 59

    机器学习 · 学习基础 · 典范公式

    分布偏移的类型

    教材位置:A00 · 分布偏移、置信区间与不确定性

    P(X,Y)=P(Y∣X)P(X)=P(X∣Y)P(Y).P(X,Y)=P(Y\mid X)P(X)=P(X\mid Y)P(Y).
    成立条件
    • 若第二批全部来自更换后的低照度摄像头,输入亮度分布明显改变,则出现了环境偏移证据。
    • 例如部署用户年龄结构变化,但在同样特征下标签机制稳定。
    阅读正文 ↗
    变量与应用

    变量

    PP
    在“分布偏移的类型”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    XX
    在“分布偏移的类型”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    YY
    在“分布偏移的类型”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把重采样置信区间与预测区间整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:仅凭两个准确率无法区分原因;需要数据生成时间、设备和选择机制。
    • 推导:A00 · 分布偏移、置信区间与不确定性
  20. 式 60

    机器学习 · 学习基础 · 典范公式

    分类不纯度

    教材位置:A02 · 决策树、划分准则与剪枝

    IGini(A)=1−∑kpk2,IEnt(A)=−∑kpklog⁡pk.I_{\mathrm{Gini}}(A)=1-\sum_k p_k^2, \qquad I_{\mathrm{Ent}}(A)=-\sum_k p_k\log p_k.
    成立条件
    • 若特征是复杂编码、代理变量或处理后信息,短路径也不等于可行动解释,更不等于因果机制。
    • 设节点 AA 中第 kk 类比例为 pkp_k。
    阅读正文 ↗
    变量与应用

    变量

    II
    在“分类不纯度”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    AA
    在“分类不纯度”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    kk
    标记当前或下一次更新,单位:由上下文确定
    pkp_{k}
    用下标 k 区分 p 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把递归生长、叶节点预测与缺失特征整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:根部一次选择会改变后续所有候选,局部最优不能当作全局最优证明。
    • 推导:A02 · 决策树、划分准则与剪枝