术语表

从批量、多头、查询和键值轴严格跟踪 Q/K/V、缩放点积、掩码与拼接形状，解释多头投影的表达边界，并比较绝对、相对及旋转位置表示和序列长度外推限制。

将输入映射为两个类别的概率或得分，并用决策阈值和混淆矩阵评价结果。

沿计算图拆解前向值、局部导数与总梯度，理解反向模式自动微分为何能高效训练共享参数的神经网络。

对固定训练结果 $f$ ，总体风险 $R(f)=\mathbb E_{(X,Y)\sim P}[\ell(f(X),Y)]$ 与训练经验风险 $\widehat R_{\mathrm{train}}(f)$ 之差 $R(f)-\widehat R_{\mathrm{train}}(f)$ 称为该损失和分布下的泛化间隙。测试集只能给出 $R(f)$ 的有限样本估计；它不是总体风险本身。

区分同一分布下的抽样波动与协变量、标签、概念偏移，通过分组评估、重采样区间和校准诊断量化性能变化，并说明重要性加权、阈值迁移与分布外外推的适用边界。

从评估单位、分母和业务代价选择分类、回归与概率预测指标，解释混淆矩阵、阈值曲线、误差尺度和校准，并用可解释基线、区间及分组结果判断增量价值。

从线性阈值分类器、误分类更新与可分性出发，推导多层感知机的前向传播、张量形状、参数数量和表达能力边界。

把模型决策、类型化工具、权限判定、外部观测、短期与长期记忆、计划执行组成受约束状态循环，系统处理参数验证、幂等、超时重试、部分失败、终止、审计、提示注入和人工审批。

区分输入标准化与网络内部归一化，统一写出标准化和可学习仿射变换，比较 BatchNorm、LayerNorm 与 GroupNorm 的统计轴、运行统计和训练推理状态，并处理小批量与 epsilon 边界。

以可逆映射和变量替换公式把简单基分布变为复杂连续密度，逐层计算 log-det Jacobian，分析仿射 coupling 与自回归流的求逆和并行代价，并界定精确似然、拓扑表达和数值稳定性的边界。

区分训练误差、验证估计、泛化间隙与分布偏移，并用容量、集中界和偏差方差分析解释模型选择。

用正定核隐式计算高维特征空间内积，构造非线性分类和回归模型。

围绕表示、归纳偏置、优化、样本规模和部署约束，比较核方法、SVM、单树、随机森林、AdaBoost 与梯度提升，并把缺失、校准、解释、不确定性和计算预算纳入模型选择。

比较 FP32、FP16 与 bfloat16 的范围和精度，以主权重、损失缩放和非有限检测保护更新，再推导数据并行的全局批量、梯度同步、累积、扩展效率及可恢复检查点。

用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。

根据部署任务和决策代价，设计数据切分、基线、评估指标、阈值和区间估计，并检查数据泄漏与分布偏移。

区分线性可解码性、激活相关与内部因果使用，系统介绍消融、替换、激活 patch、因果中介和电路假设，手算干预效应与基底旋转，并讨论多义特征、冗余交互、实验控制和可复现机制证据。

从学习转移—奖励模型并据此规划出发，分析多步模型误差和 Dyna 的真实—模拟更新，再以行为数据支持集解释离线外推误差，谨慎介绍重要性采样与直接式离线评估、保守策略及部署边界。

从线性层复合的退化出发，比较 sigmoid、tanh、ReLU、GELU 与 SiLU 的函数形状、导数、数值行为和输出层适用范围。

组合多个基学习器降低方差或偏差，比较 bagging、随机森林和 boosting。

以任务输出合同为起点，贯通卷积、视觉架构、检测、分割和视觉 Transformer，系统选择标签、损失、分辨率、感受野、计算预算与指标，并用几何变换、分布偏移和失败分组建立可审计的视觉实验方案。

以分子构象的总能量与原子力预测贯穿图构造、消息传递、置换与旋转对称、谱—空间联系和图级读出，区分过平滑与过压缩，分析消息传递表达界限、图生成动力学、数据泄漏、结构拆分和规模外推。

对事件概率 $p\in(0,1)$ ，几率定义为 $p/(1-p)$ ，对数几率定义为 $\operatorname{logit}(p)=\log\frac{p}{1-p}.$ Logistic 回归令条件对数几率等于线性分数 $z=w^{\mathsf T}x+b$ ，因此 $p=\sigma(z)$ 。该等式规定的是模型参数化，不保证有限样本估计天然校准，也不替代阈值、误报代价和漏报代价的业务选择。

把复合张量函数表示为有向无环计算图，按拓扑序执行前向，以局部 Jacobian 组织 JVP 与 reverse-mode VJP，处理分支梯度累加、广播形状、缓存重计算和数值梯度核验。

建立监督学习的问题定义，区分样本、模型、损失、经验风险、验证选择与未知分布上的泛化误差。

给定输入—标签联合分布 $P$ 、预测器 $f$ 和损失 $\ell$ ，总体风险定义为 $R_P(f)=\mathbb E_{(X,Y)\sim P}\bigl[\ell(f(X),Y)\bigr].$ 监督学习以有限样本估计并降低这个量。分布 $P$ 、标签定义和损失共同决定任务；仅写“从 $x$ 预测 $y$ ”还不足以确定学习问题。

把检索增强拆成查询、稀疏/稠密召回、分块、重排、上下文构造、生成和声明级引用链，分别评价召回、忠实性、完整性与新鲜度，并处理提示注入、权限和证据不足。

给定样本 $D=\{(x_i,y_i)\}_{i=1}^n$ 、预测器 $f_\theta$ 与单样本损失 $\ell$ ，经验风险是 $\widehat R_D(\theta)=\frac1n\sum_{i=1}^n\ell\!\left(f_\theta(x_i),y_i\right).$ 它是指定数据集上的平均损失估计；若加入 $\lambda\Omega(\theta)$ ，得到的是正则化训练目标，而不再是未经修饰的经验风险。

定义总体风险、经验风险与假设类，区分固定假设集中和训练集选择后的统一控制，以 VC 维与覆盖数导入容量，并解释结构风险最小化、界的松弛性及数据依赖局限。

用有限样本上的平均损失近似总体风险，并明确假设空间和优化误差。

从表示与距离开始，比较 K 均值交替优化、层次聚类链接准则和密度聚类邻域规则，分析初始化、尺度、异常点、簇数、稳定性、计算成本和外部语义边界。

用局部连接和权重共享提取平移结构特征，并逐层扩大感受野。

把卷积、非线性、归一化、池化与步幅下采样组织成层级特征网络，推导残差和投影跳连，比较瓶颈、深度可分离卷积、全局池化及分辨率、通道、感受野和计算预算。

通过递归划分构造分类与回归树，推导不纯度和平方误差下降，处理连续、类别和缺失特征，并以停止与代价复杂度剪枝控制高方差，说明贪心、不稳定性和计算边界。

从图文配对合同出发，构造双塔编码器、归一化相似度和对称对比损失，手算双向批内目标，分析温度、假负例、跨模态交互、提示与类别映射边界，以及配对噪声、群体偏差和零样本评估。

学习逐步去除噪声的逆过程，从简单噪声分布生成高维数据样本。

准确定义离散卷积与深度学习中的互相关，推导多通道卷积的输出形状、参数量和感受野，分析步幅、填充、膨胀、通道分组、平移等变性及边界效应。

先以目标、知识、能力和扰动集合定义威胁模型，再从一阶线性化解释 FGSM 与迭代投影攻击，分析白盒/黑盒、自适应评价、梯度遮蔽、鲁棒训练和干净性能权衡。

由伯努利条件模型推导 sigmoid、对数几率、交叉熵、梯度与决策阈值，并说明线性可分和概率解释的边界。

按任务选择准确率、精确率、召回率、ROC 或回归误差，并避免训练集评估偏差。

把视觉识别扩展为类别、置信度和边界框联合预测，统一框参数化与 IoU，比较两阶段与一阶段候选机制，处理匹配、分类回归损失和 NMS，并限定 precision–recall、mAP、小目标与类别不平衡的评估语义。

以未归一化能量函数为数据赋分，并通过采样或对比方法学习低能量区域。

利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。

把平方预测误差分解为系统偏差、样本波动与不可约噪声，解释模型复杂度权衡。

从图 Laplacian 的二次型和谱分解定义图频率与谱滤波，连接多项式/Chebyshev局部化和空间消息传递，并分析网格与流形离散、基底迁移、稀疏计算和规模限制。

引入不可直接观测的随机变量解释数据结构，并通过边缘化连接隐变量与观测。

以仓储机器人贯穿状态、奖励和 Bellman 合同，在同一任务中连接动态规划、Monte Carlo、TD、Q-learning、策略梯度、actor–critic、模型与离线方法，并以探索覆盖、多种子学习曲线、离线评估、可复现记录和部署回退限定结论。

把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。

结合两层网络复习激活、计算图、反向传播和初始化，逐步核对张量形状与数值，并用有限差分和小样本拟合检查实现。

让生成器与判别器进行极小极大博弈，以隐式方式逼近数据分布。