公式索引

变量

$Q$

查询矩阵，单位：由上下文确定

$K$

键矩阵，单位：由上下文确定

$V$

值矩阵，单位：由上下文确定

$d_{k}$

缩放点积以控制 softmax 输入幅度，单位：由上下文确定

相关概念

适用与边界

• 应用：注意力机制
• 边界：当 $\tau=1$ 且 $M=0$ 时，它退化为标准缩放点积注意力。
• 推导：A07 · 缩放点积注意力与掩码

变量

$B$

在“梯度累积与全局批量”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$W$

在“梯度累积与全局批量”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$b$

在“梯度累积与全局批量”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$A$

在“梯度累积与全局批量”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把数据并行、梯度同步与通信瓶颈整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：精确恢复还要求在相同数据边界保存。
• 推导：A05 · 混合精度、分布式训练与检查点

变量

$F_{M}$

用下标 M 区分 F 的分量、样本或离散状态，单位：由上下文确定

$x$

在“提升法的加法模型”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$F_{0}$

用下标 0 区分 F 的分量、样本或离散状态，单位：由上下文确定

$m$

在“提升法的加法模型”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$M$

在“提升法的加法模型”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$\eta_{m}$

用下标 m 区分 eta 的分量、样本或离散状态，单位：由上下文确定

$h_{m}$

用下标 m 区分 h 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把函数梯度、伪残差与逐步加法模型整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：这个过程是串行的：第 $m$ 轮目标依赖前 $m-1$ 轮预测，不能像随机森林那样把全部树完全独立训练。
• 推导：A02 · AdaBoost、梯度提升与残差拟合

变量

$p$

在“图结构、条件独立与概率查询”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$x$

在“图结构、条件独立与概率查询”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$i$

在“图结构、条件独立与概率查询”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$x_{i}$

用下标 i 区分 x 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把有向图、无向图和因子图的条件独立对照整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：交换成分编号后混合密度完全相同，不能把两次运行说成发现了相反结构。
• 推导：A03 · 无监督学习与概率图模型综合复习

变量

$x$

在“图平滑与标签假设”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$\eta$

在“图平滑与标签假设”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$L$

在“图平滑与标签假设”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把图信号平滑、局部邻域与拉普拉斯整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：这个数值是“权重乘信号平方”的单位；若边权有物理量纲，能量也随之带单位，不能在不同权重定义间直接比较。
• 推导：A11 · 图、图信号与节点表示

变量

$v$

在“图像与文本的共享表示空间”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$f_{\theta}$

用下标 theta 区分 f 的分量、样本或离散状态，单位：由上下文确定

$I$

在“图像与文本的共享表示空间”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$t$

在“图像与文本的共享表示空间”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$g_{\phi}$

用下标 phi 区分 g 的分量、样本或离散状态，单位：由上下文确定

$T$

在“图像与文本的共享表示空间”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把视觉 token、跨模态注意力与条件生成整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：正文未把极限情形单列为独立公式；适用边界以本小节声明的定义域、假设和边界条件为限。
• 推导：A12 · 视觉语言对齐与多模态生成

变量

$p$

在“未归一权重与推断查询”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$q$

在“未归一权重与推断查询”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$e$

在“未归一权重与推断查询”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$h$

在“未归一权重与推断查询”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$a$

在“未归一权重与推断查询”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$f_{a}$

用下标 a 区分 f 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把和积消息、树结构与边缘概率整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：若 $p(e)=0$，条件分布在当前模型中没有定义，不能用除零后的任意数替代。
• 推导：A03 · 变量消元、消息传递与精确推断

变量

$p$

在“无向图的势函数分解”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$x$

在“无向图的势函数分解”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$Z$

在“无向图的势函数分解”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$C$

在“无向图的势函数分解”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$\psi_{C}$

用下标 C 区分 psi 的分量、样本或离散状态，单位：由上下文确定

$x_{C}$

用下标 C 区分 x 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把势函数、Markov 性与无向图配分函数整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：不能仅凭这一独立模式声称 $B$ 是 $A$ 的原因或结果。
• 推导：A03 · 贝叶斯网络与 Markov 随机场

变量

$r$

在“稀疏检索与稠密检索”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$R$

在“稀疏检索与稠密检索”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$k$

在“稀疏检索与稠密检索”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把分块、重排与上下文拼装整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：混合检索不能直接相加未经校准的原始分数，因为稀疏和稠密分值范围不同。
• 推导：A12 · 检索增强、引用与事实落地

变量

$H$

在“下采样与信息损失”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$W$

在“下采样与信息损失”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$C$

在“下采样与信息损失”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把残差捷径、恒等映射与深层梯度整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：任何步幅大于一的路径都应检查高频内容、边界和一像素位移敏感性。
• 推导：A06 · 卷积网络架构与残差连接

变量

$p_{\theta}$

用下标 theta 区分 p 的分量、样本或离散状态，单位：由上下文确定

$x$

在“显式密度与隐式生成”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$t$

在“显式密度与隐式生成”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$x_{t}$

用下标 t 区分 x 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把潜变量、对抗、流和扩散目标对照整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：连续数据还需说明量化、去量化和测度；不同表示上的密度数值不能直接比较。
• 推导：A09 · 生成质量、覆盖与生成模型综合复习

变量

$z$

在“线性探针与可解码性”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$W$

在“线性探针与可解码性”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$h$

在“线性探针与可解码性”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$x$

在“线性探针与可解码性”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$b$

在“线性探针与可解码性”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把注意力头、神经回路与特征可视化整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：它在这里只用于划清边界：把输出差分配给输入特征，不等于识别网络内部算法。
• 推导：A13 · 表示探测与机制可解释性

变量

$vJ_{f}$

用下标 f 区分 vJ 的分量、样本或离散状态，单位：由上下文确定

$x$

在“向量 Jacobian 乘积”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$L$

在“向量 Jacobian 乘积”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$y$

在“向量 Jacobian 乘积”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把反向模式的伴随量与梯度累积整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：差分不一致本身不能立刻定位是哪一方错误。
• 推导：A04 · 反向传播与反向模式自动微分

变量

$L$

在“像素交叉熵”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$V$

按注意力权重汇总输出，单位：由上下文确定

$i$

在“像素交叉熵”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$p_{iy}$

用下标 iy 区分 p 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把实例掩码、匹配分配与重叠目标整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：互斥多类用 softmax；可重叠多标签应对每通道用二元概率损失，不能强迫通道和为一。
• 推导：A06 · 语义分割、实例分割与密集预测

变量

$\mu_{S}$

用下标 S 区分 mu 的分量、样本或离散状态，单位：由上下文确定

$S$

在“一个通用标准化模板”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$i$

在“一个通用标准化模板”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$x_{i}$

用下标 i 区分 x 的分量、样本或离散状态，单位：由上下文确定

$v_{S}$

用下标 S 区分 v 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把LayerNorm、GroupNorm 与归一化轴整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：两类操作都不能看见测试分布后重估参数。
• 推导：A05 · 归一化方法与尺度控制

变量

$p_{\theta}$

用下标 theta 区分 p 的分量、样本或离散状态，单位：由上下文确定

$w_{1T}$

用下标 1T 区分 w 的分量、样本或离散状态，单位：由上下文确定

$t$

在“因果语言模型的条件似然”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$w_{t}$

用下标 t 区分 w 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把自回归语言似然与困惑度整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：若把当前目标留在同一可见位置，模型可以复制；若文档打包后不设边界，后一个文档可能条件于前一个文档。
• 推导：A12 · 语言建模、tokenization 与规模规律

变量

$y_{i}$

用下标 i 区分 y 的分量、样本或离散状态，单位：由上下文确定

$w$

在“硬间隔与软间隔”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$x_{i}$

用下标 i 区分 x 的分量、样本或离散状态，单位：由上下文确定

$b$

在“硬间隔与软间隔”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$\xi_{i}$

用下标 i 区分 xi 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把软间隔、松弛变量与惩罚参数整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：即使数据形式上可分，一个误录的远端点也可能迫使边界旋转并把间隔压得很窄。
• 推导：A02 · 最大间隔与支持向量机

变量

$n$

在“有效正则化强度”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$i$

在“有效正则化强度”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

$\ell_{i}$

用下标 i 区分 ell 的分量、样本或离散状态，单位：由上下文确定

$\theta$

作为损失函数的自变量，单位：由上下文确定

$\lambda$

在“有效正则化强度”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$\Omega$

在“有效正则化强度”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把L1、L2 正则化与解的几何整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：正文未把极限情形单列为独立公式；适用边界以本小节声明的定义域、假设和边界条件为限。
• 推导：A01 · 正则化、偏差与方差

变量

$x_{0}$

用下标 0 区分 x 的分量、样本或离散状态，单位：由上下文确定

$x_{t}$

用下标 t 区分 x 的分量、样本或离散状态，单位：由上下文确定

$\alpha_{t}$

用下标 t 区分 alpha 的分量、样本或离散状态，单位：由上下文确定

$\epsilon_{\theta}$

用下标 theta 区分 epsilon 的分量、样本或离散状态，单位：由上下文确定

$t$

在“噪声预测与均值参数化”中作为等号左侧的目标量参与关系计算，单位：由上下文确定

相关概念

适用与边界

• 应用：把去噪得分匹配与噪声预测参数化整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：公式必须与实现采用的方差、时间索引和边界步一致，不能把一种采样器的系数直接移入另一种。
• 推导：A09 · 得分匹配、扩散过程与反向采样

变量

$Z_{1}$

用下标 1 区分 Z 的分量、样本或离散状态，单位：由上下文确定

$XW_{1}$

用下标 1 区分 XW 的分量、样本或离散状态，单位：由上下文确定

$b_{1}$

用下标 1 区分 b 的分量、样本或离散状态，单位：由上下文确定

$A_{1}$

用下标 1 区分 A 的分量、样本或离散状态，单位：由上下文确定

$\phi$

在“张量形状”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$S$

在“张量形状”中作为等号右侧的输入量或系数参与关系计算，单位：由上下文确定

$W_{2}$

用下标 2 区分 W 的分量、样本或离散状态，单位：由上下文确定

$b_{2}$

用下标 2 区分 b 的分量、样本或离散状态，单位：由上下文确定

相关概念

适用与边界

• 应用：把计算图展开、反向传播与梯度检查整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
• 边界：若损失接口要求 logits，就不能先手动 sigmoid 或 softmax 再传入，否则重复链接会改变数值和梯度稳定性。
• 推导：A04 · 神经网络与反向传播综合复习