术语表

从二人极小极大目标出发，在明确密度与容量条件下推导判别器最优响应和 Jensen–Shannon 关系，比较饱和与非饱和生成器损失，并用交替更新、模式覆盖诊断和多维评价界定生成对抗学习的能力。

学习数据联合分布或生成过程，使模型能够采样、补全、重建并估计不确定性。

以任务是否需要显式密度、离散顺序、低维潜变量、可逆映射、快速采样或条件控制为约束，比较自回归、VAE、GAN、正规化流与扩散的目标、稳定性、覆盖和计算路径，并建立分离似然、质量、真实性、记忆与分布偏移的评价协议。

从图像分块、线性嵌入和二维位置编码出发，推导多头自注意力的形状与二次复杂度，比较分类标记、池化、卷积归纳偏置、局部窗口和混合骨干，并建立分辨率、数据增强与计算预算之间的可核查选择方法。

以双编码器和对称对比目标对齐图像与文本嵌入，计算相似度检索和零样本分类，并比较跨注意力交互、批内负样本、数据偏差、泄漏、校准和多维评估边界。

输出激活把网络的无约束分数映射到预测分布允许的参数空间：二分类 sigmoid 把实数映射到 $(0,1)$ ，多分类 softmax 映射到概率单纯形，正值尺度可用指数或 softplus。这个映射与似然或损失共同构成统计模型，而不只是数值上的“最后一层非线性”。

通过 bootstrap 样本和节点级特征子采样构造去相关树，推导相关性对聚合方差的影响，使用袋外预测评估，并辨析不纯度与置换重要度的偏差、聚合规则和超参数边界。

从小批量梯度的抽样估计和方差进入 SGD，推导动量与 Nesterov 状态更新，比较 AdaGrad、RMSProp 和 Adam 的矩估计、偏差修正与 epsilon，并区分耦合 L2 惩罚和解耦权重衰减。

区分单样本损失、经验风险、正则化目标与任务指标，比较回归和分类常用损失的统计含义与优化性质。

从梯度、梯度乘输入、积分路径、扰动和置换方法进入局部归因，手算 Shapley 分配，分析基线和相关特征的影响，区分局部与全局解释，并以可行反事实和忠实性检验限定归因证据。

从显式特征映射和 Gram 矩阵建立正半定核条件，解释核技巧、线性核、多项式核与 RBF 核的尺度，准确导入再生性质，并讨论中心化、归一化、计算成本和核选择边界。

通过邻域消息传递更新节点表示，并用置换不变聚合处理非欧氏结构。

从无序图与顺序化分解的差异出发，联合建模节点、边和属性并处理有效性约束，再以交互图描述动态系统，分析守恒结构、积分时间步、滚动误差、教师强制暴露偏差和图规模外推。

从节点、边和全局属性定义图数据，构造邻接矩阵、度矩阵与图 Laplacian，手算图信号差分和平滑能量，推导重编号下的置换关系，并讨论局部全局结构、任务粒度、图构造及单位尺度。

向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。

围绕目标、可识别性、计算预算、诊断和外部语义，串联聚类、PCA 与流形、贝叶斯网与 Markov 网、条件独立、精确消元、EM 和变分近似，限制潜变量与因果解释。

从仿射预测、平方损失和矩阵表示推导最小二乘解、梯度、投影解释及其统计假设。

以共同线性评分连接最小二乘与 Logistic 概率分类，联合正则化、偏差方差、容量控制、数值优化、模型诊断和嵌套选择，并以独立测试证据区分训练拟合与泛化。

若中间变量 $y=f(x)$ ，下游已给出行向量 $v=\partial L/\partial y$ ，反向模式传播 $vJ_f(x)=\frac{\partial L}{\partial y}\frac{\partial y}{\partial x},$ 而不显式构造完整 Jacobian。标量损失只需沿计算图反向累积这些乘积，因此一次反向的量级通常与一次前向相当。

把图神经网络写成消息、聚合、更新与读出四步，完成带边权图的一层数值前向，推导节点置换等变和图读出不变性，并讨论 GCN、采样聚合、注意力、感受野、过平滑、过挤压、批处理与表达能力限制。

区分准确率、概率校准与分布外检测，计算可靠性图、Brier、NLL和ECE并分析分箱局限，以独立校准集拟合温度缩放，再用OOD分数和风险—覆盖曲线评价拒绝机制。

根据顺序依赖分解联合概率或条件预测，处理可变长度输入与因果掩码。

按条件概率分解自回归序列似然，处理变长批量、移位目标和 padding mask，比较 teacher forcing 与自由运行，分析截断 BPTT、梯度裁剪、暴露偏差、贪心束搜索采样及序列评估与复现。

比较预热、阶梯、指数、余弦和验证指标调度，以 Hessian、曲率和 Hessian 向量积导入 Newton、拟 Newton 与自然梯度，并分析阻尼、线搜索、信赖域、计算成本和适用边界。

从共享参数的隐藏状态递推和时间展开图建立简单 RNN，推导时间反向传播中的 Jacobian 连乘与梯度消失爆炸，再比较 LSTM、GRU 的门控状态、参数量、计算和因果边界。

用递归隐藏状态处理序列，并以门控机制缓解长期依赖中的梯度衰减。

从未来部署的独立单位和时间方向设计训练、验证与测试，正确实施交叉验证与预处理，识别重复实体、近重复、时间穿越、目标泄漏和反复调参造成的乐观偏差。

从随机掩码、双向可见上下文与条件预测目标出发，区分离散词元交叉熵和连续图像块重构，说明 BERT 原论文的具体方案与一般方法的边界，并讨论掩码分布偏移、信息泄漏、预训练迁移和表示评价。

在目标 $\frac1n\sum_{i=1}^{n}\ell_i(\theta)+\lambda\Omega(\theta)$ 中， $\lambda$ 表示相对于平均数据损失的惩罚强度。若实现改用损失总和，则保持同一权衡需要把惩罚系数相应乘以 $n$ ；否则相同数值的 $\lambda$ 不代表相同正则化。

从子词 tokenization、因果语言似然和交叉熵推导困惑度及其单位，讨论上下文、采样与数据污染，再区分参数量、数据量和训练计算量，演示经验幂律拟合并限定其受控范围与外推边界。

区分语义、实例与全景分割，以像素损失和 Dice/IoU 优化区域预测，通过编码器—解码器、上采样与跳连恢复分辨率，并分析边界、类别不平衡、标注粒度和输入分辨率限制。

比较 RNN、LSTM、GRU、注意力和 Transformer 的上下文范围、状态存储、训练方式及解码成本，并通过案例练习模型选择。

从惩罚经验风险推导 L2 与 L1 正则化，解释尺度、贝叶斯联系、早停和数据增强，并规范超参数选择。

比较 L1/L2 惩罚与解耦权重衰减，分析 dropout 的训练推理路径，以验证集实施早停，并把数据增强写成可核验的不变性或等变假设，说明标签平滑与模型选择边界。

区分监督指令微调、上下文学习、偏好比较、奖励模型、策略优化与直接偏好目标，手算响应交叉熵、成对偏好概率和带参考约束的策略目标，并系统讨论数据质量、标注者差异、分布迁移、目标错位与评价泄漏。

寻找数据协方差最大的正交方向，并用低秩投影压缩和去噪。

由中心化协方差的谱分解和奇异值分解推导 PCA 投影、解释方差与最佳低秩重构，分析标准化和白化边界，再以局部邻域图准确导入非线性流形嵌入及其距离失真。

从数据相关的加权平均推导缩放点积注意力，明确 query、key、value 的形状、softmax 归一化与解释边界。

用编码器压缩输入并由解码器重建，学习受瓶颈或正则约束的表示。

从概率链式法则分解联合分布，统一离散词元与连续变量的条件似然，解释教师强制、因果掩码、精确似然和祖先采样，并分析暴露偏差、变量顺序、采样截断与评价边界。

按变量顺序分解联合分布，通过逐步条件预测实现精确似然与序列采样。

从数据本身构造预测或对比任务，学习可迁移表示而不依赖人工标签。

让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。

从超平面几何间隔推导硬间隔与软间隔原问题，通过 Lagrange 对偶和 KKT 条件识别支持向量并核化，分析惩罚参数、特征尺度、类别重叠、计算成本和多分类策略边界。

从逐步加法模型推导 AdaBoost 的指数损失和样本权重，再以函数空间负梯度统一残差拟合，分析学习率、树深、轮数、随机子采样、验证早停、噪声过拟合和概率校准边界。

由潜变量边缘似然和 Jensen 不等式建立 ELBO，推导 EM 的后验 E 步与参数 M 步，以高斯混合执行责任度和参数更新，再分析均值场坐标上升、KL 方向、局部最优、退化与近似偏差。

用状态、动作、转移—奖励核、折扣与策略定义序贯决策，区分轨迹、回报、状态价值、动作价值和占用分布，推导 Bellman 期望与最优方程，并说明终止状态、持续任务及部分可观测边界。

从 Bellman 最优方程推导表格 Q-learning 的一步时序差分目标，区分行为策略与贪心目标策略，分析 epsilon-greedy 探索、表格收敛条件、最大化偏差以及函数逼近下的自举与分布风险。

组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。

区分参数、观测和模型误差，并传播其分布以给出校准的预测区间。