公式索引

300 条公式
  1. 式 61

    机器学习 · 学习基础 · 典范公式

    混淆矩阵与分类阈值

    教材位置:A00 · 分类、回归指标与基线

    precision⁡=TPTP+FP,recall⁡=TPTP+FN,\operatorname{precision}=\frac{TP}{TP+FP}, \qquad \operatorname{recall}=\frac{TP}{TP+FN},
    成立条件
    • 四项之和应等于有效决策单位总数;若有弃权或无法评分样本,必须另列,不能从分母消失。
    • 若某个分母为零,应按协议报告未定义或采用明确约定,不能让软件默认值悄悄变成完美分数。
    阅读正文 ↗
    变量与应用

    变量

    TT
    在“混淆矩阵与分类阈值”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    PP
    在“混淆矩阵与分类阈值”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    FF
    在“混淆矩阵与分类阈值”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    NN
    在“混淆矩阵与分类阈值”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把均方误差、绝对误差与尺度敏感性整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:四项之和应等于有效决策单位总数;若有弃权或无法评分样本,必须另列,不能从分母消失。
    • 推导:A00 · 分类、回归指标与基线
  2. 式 62

    机器学习 · 学习基础 · 典范公式

    基于模型的强化学习

    教材位置:A10 · 基于模型、离线与多智能体强化学习

    (St,At,Rt+1,St+1).(S_t,A_t,R_{t+1},S_{t+1}).
    成立条件
    • 给定模型后,可以用价值迭代、树搜索、轨迹优化或滚动时域控制比较尚未真实执行的动作。
    • 这个值完全依赖十次样本代表未来环境的假设。
    阅读正文 ↗
    变量与应用

    变量

    StS_{t}
    用下标 t 区分 S 的分量、样本或离散状态,单位:由上下文确定
    AtA_{t}
    用下标 t 区分 A 的分量、样本或离散状态,单位:由上下文确定
    Rt+1R_{t+1}
    用下标 t+1 区分 R 的分量、样本或离散状态,单位:由上下文确定
    St+1S_{t+1}
    用下标 t+1 区分 S 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把离线数据支持集和分布外动作整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若失败转移在数据中偶然缺失,经验模型会更乐观;添加平滑不能替代真实覆盖和独立验证。
    • 推导:A10 · 基于模型、离线与多智能体强化学习
  3. 式 63

    机器学习 · 学习基础 · 定义式

    几率与对数几率

    教材位置:A01 · Logistic 回归与概率分类

    logit⁡(p)=log⁡p1−p.\operatorname{logit}(p)=\log\frac{p}{1-p}.
    成立条件
    • 给定概率 p=P(Y=1∣x)p=P(Y=1\mid x),选择正类的期望代价为 C10(1−p)C_{10}(1-p),选择负类的期望代价为 C01pC_{01}p。
    • 若先用测试集挑阈值再报告同一测试集性能,会把选择偏差混进最终估计。
    阅读正文 ↗
    变量与应用

    变量

    pp
    在“几率与对数几率”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把交叉熵似然与梯度计算整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:正文未把极限情形单列为独立公式;适用边界以本小节声明的定义域、假设和边界条件为限。
    • 推导:A01 · Logistic 回归与概率分类
  4. 式 64

    机器学习 · 神经网络 · 典范公式

    监督示范与条件分布

    教材位置:A13 · 对齐目标、反馈与奖励建模

    LSFT=−∑tlog⁡πθ(yt∣x,y<t).\mathcal L_{\mathrm{SFT}} =-\sum_t\log\pi_\theta(y_t\mid x,y_{<t}).
    成立条件
    • 设备维护助手的规格是:引用适用手册;信息不足时澄清;不得把照片猜测写成确定故障;创建工单前展示设备、时间和收件人并获审批。
    • 示范分布若只含简单问答,不能由训练损失推断长时工具规划。
    阅读正文 ↗
    变量与应用

    变量

    LL
    在“监督示范与条件分布”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    tt
    在“监督示范与条件分布”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    πθ\pi_{\theta}
    用下标 theta 区分 pi 的分量、样本或离散状态,单位:由上下文确定
    yty_{t}
    用下标 t 区分 y 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“监督示范与条件分布”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把RLHF、DPO 与代理目标优化整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:示范是一种可执行例子,却不能枚举所有情境;同一指令可能有多个同样合适的回答,单一参考交叉熵会把其他答案视为不同 token 序列。
    • 推导:A13 · 对齐目标、反馈与奖励建模
  5. 式 65

    机器学习 · 学习基础 · 定义式

    监督学习的总体风险

    教材位置:A00 · 监督学习任务、样本与标签

    RP(f)=E(X,Y)∼P[ℓ(f(X),Y)].R_P(f)=\mathbb E_{(X,Y)\sim P}\bigl[\ell(f(X),Y)\bigr].
    成立条件
    • 同一特征表若更换标签时间窗、删失规则或部署人群,就对应不同的风险。
    • 随机切分也并非总是有效:时间序列、同一患者多次记录、同一设备生成的样本需要按时间或组切分,防止共享信息跨越训练和评估。
    阅读正文 ↗
    变量与应用

    变量

    RPR_{P}
    用下标 P 区分 R 的分量、样本或离散状态,单位:由上下文确定
    ff
    在“监督学习的总体风险”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    XX
    在“监督学习的总体风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    YY
    在“监督学习的总体风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    PP
    在“监督学习的总体风险”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ℓ\ell
    在“监督学习的总体风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把训练分布、目标函数与经验风险整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:正文未把极限情形单列为独立公式;适用边界以本小节声明的定义域、假设和边界条件为限。
    • 推导:A00 · 监督学习任务、样本与标签
  6. 式 66

    机器学习 · 神经网络 · 典范公式

    监督指令微调

    教材位置:A12 · 指令微调、偏好优化与上下文学习

    LSFT=−1T∑t=1Tlog⁡πθ(yt∣x,y<t).\mathcal L_{\mathrm{SFT}} =-\frac1T\sum_{t=1}^{T} \log\pi_\theta(y_t\mid x,y_{<t}).
    成立条件
    • 常见实现让提示 token 进入上下文却不计回答损失,避免训练目标主要消耗在复述用户输入;若也训练提示建模,必须另行说明。
    • 示范覆盖少时,模型会在新任务上依赖预训练能力和相似模式;示范自身若有事实错误、冗长偏好或互相冲突,交叉熵会忠实学习这些差异。
    阅读正文 ↗
    变量与应用

    变量

    LL
    在“监督指令微调”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    TT
    在“监督指令微调”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    tt
    在“监督指令微调”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    πθ\pi_{\theta}
    用下标 theta 区分 pi 的分量、样本或离散状态,单位:由上下文确定
    yty_{t}
    用下标 t 区分 y 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“监督指令微调”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把偏好数据、奖励模型与直接偏好优化整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:高质量不是单一流畅分数,而要包含任务正确、证据、格式、拒绝边界和多语言一致性。
    • 推导:A12 · 指令微调、偏好优化与上下文学习
  7. 式 67

    机器学习 · 学习基础 · 定义式

    经验风险

    教材位置:A00 · 损失函数、风险与评估

    R^D(θ)=1n∑i=1nℓ ⁣(fθ(xi),yi).\widehat R_D(\theta)=\frac1n\sum_{i=1}^n\ell\!\left(f_\theta(x_i),y_i\right).
    成立条件
    • 求常数预测 cc 在平方经验风险 n−1∑i(c−yi)2n^{-1}\sum_i(c-y_i)^2 下的最小点。
    • 它是指定数据集上的平均损失估计;若加入 λΩ(θ)\lambda\Omega(\theta),得到的是正则化训练目标,而不再是未经修饰的经验风险。
    阅读正文 ↗
    变量与应用

    变量

    RDR_{D}
    用下标 D 区分 R 的分量、样本或离散状态,单位:由上下文确定
    θ\theta
    作为损失函数的自变量,单位:由上下文确定
    nn
    在“经验风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ii
    在“经验风险”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ℓ\ell
    在“经验风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    fθf_{\theta}
    用下标 theta 区分 f 的分量、样本或离散状态,单位:由上下文确定
    xix_{i}
    用下标 i 区分 x 的分量、样本或离散状态,单位:由上下文确定
    yiy_{i}
    用下标 i 区分 y 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把回归损失、分类损失与概率解释整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:它是指定数据集上的平均损失估计;若加入 λΩ(θ)\lambda\Omega(\theta),得到的是正则化训练目标,而不再是未经修饰的经验风险。
    • 推导:A00 · 损失函数、风险与评估
  8. 式 68

    机器学习 · 神经网络 · 典范公式

    局部 Jacobian

    教材位置:A04 · 计算图、链式法则与局部导数

    Jf(x)=∂y∂x∈Rm×n.J_f(x)=\frac{\partial y}{\partial x}\in\mathbb R^{m\times n}.
    成立条件
    • 图节点不仅要记录数值,还要记录数据类型、张量形状、设备、生成它的运算和输入引用。
    • 当输入参数很多、输出是一个标量损失时,反向模式一次 VJP 就得到全部参数梯度;若输入维度很小而输出很多,前向模式可能更合适。
    阅读正文 ↗
    变量与应用

    变量

    JfJ_{f}
    用下标 f 区分 J 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“局部 Jacobian”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    yy
    在“局部 Jacobian”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    mm
    在“局部 Jacobian”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    nn
    在“局部 Jacobian”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把Jacobian–向量积与向量–Jacobian 积整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:uu 未完成前不能求 yy,但常量 bb 与乘法 mm 的准备次序可交换。
    • 推导:A04 · 计算图、链式法则与局部导数
  9. 式 69

    机器学习 · 神经网络 · 约束

    局部消息传递与参数共享

    教材位置:A11 · 表达能力、过平滑与几何学习综合复习

    mij(ℓ)=ϕm ⁣(hi(ℓ),hj(ℓ),eij),mi(ℓ)=⨁j∈N(i)mij(ℓ),m_{ij}^{(\ell)} =\phi_m\!\left( h_i^{(\ell)},h_j^{(\ell)},e_{ij} \right), \qquad m_i^{(\ell)} =\bigoplus_{j\in\mathcal N(i)}m_{ij}^{(\ell)},
    成立条件
    • 若只检查能量不变,无法发现力方向错误;若只旋转坐标而未同步处理外场或周期晶胞,测试对象也已改变。
    • 若只交换特征而保留邻接关系,就会将不同原子放到不同结构位置,从而改变输入分子。
    阅读正文 ↗
    变量与应用

    变量

    mijm_{ij}
    用下标 ij 区分 m 的分量、样本或离散状态,单位:由上下文确定
    ℓ\ell
    在“局部消息传递与参数共享”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ϕm\phi_{m}
    用下标 m 区分 phi 的分量、样本或离散状态,单位:由上下文确定
    hih_{i}
    用下标 i 区分 h 的分量、样本或离散状态,单位:由上下文确定
    hjh_{j}
    用下标 j 区分 h 的分量、样本或离散状态,单位:由上下文确定
    eije_{ij}
    用下标 ij 区分 e 的分量、样本或离散状态,单位:由上下文确定
    mim_{i}
    用下标 i 区分 m 的分量、样本或离散状态,单位:由上下文确定
    jj
    在“局部消息传递与参数共享”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    NN
    在“局部消息传递与参数共享”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ii
    在“局部消息传递与参数共享”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把过平滑、过压缩与远程依赖整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:将旋转和反射都硬编码为不变,会使模型无法完成依赖手性的任务。
    • 推导:A11 · 表达能力、过平滑与几何学习综合复习
  10. 式 70

    机器学习 · 神经网络 · 典范公式

    距离、相似度与排序方向

    教材位置:A08 · 度量学习、孪生网络与三元组损失

    d2(u,v)=∥u−v∥2,d22(u,v)=∑j(uj−vj)2.d_2(u,v)=\lVert u-v\rVert_2,\qquad d_2^2(u,v)=\sum_j(u_j-v_j)^2.
    成立条件
    • 设编码器 fθf_\theta 把输入映为 z=fθ(x)∈Rdz=f_\theta(x)\in\mathbb{R}^d。
    • 若目标是实例检索,同类别不同实例未必相关;若目标是类别检索,它们可能都算相关。
    阅读正文 ↗
    变量与应用

    变量

    d2d_{2}
    用下标 2 区分 d 的分量、样本或离散状态,单位:由上下文确定
    uu
    在“距离、相似度与排序方向”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    vv
    在“距离、相似度与排序方向”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    jj
    在“距离、相似度与排序方向”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    uju_{j}
    用下标 j 区分 u 的分量、样本或离散状态,单位:由上下文确定
    vjv_{j}
    用下标 j 区分 v 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把孪生网络共享参数与匹配评分整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:二者给出相同最近邻排序,但进入间隔损失时数值和梯度不同,不能在公式与实现间随意替换。
    • 推导:A08 · 度量学习、孪生网络与三元组损失
  11. 式 71

    机器学习 · 神经网络 · 典范公式

    离散词元的条件分类

    教材位置:A08 · 掩码预测与上下文建模

    pθ(v∣x~,i)=exp⁡(aiv)∑w∈Vexp⁡(aiw).p_\theta(v\mid\widetilde{x},i)= \frac{\exp(a_{iv})}{\sum_{w\in\mathcal{V}}\exp(a_{iw})}.
    成立条件
    • 若报告求和损失,则数值约为 2.07942.0794。
    • 若多个序列长度不同,按目标词元平均会让被选位置多的序列权重更大;先逐序列平均再批次平均则让每条序列等权,两者不能混报。
    阅读正文 ↗
    变量与应用

    变量

    pθp_{\theta}
    用下标 theta 区分 p 的分量、样本或离散状态,单位:由上下文确定
    vv
    在“离散词元的条件分类”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    xx
    在“离散词元的条件分类”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ii
    在“离散词元的条件分类”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    aiva_{iv}
    用下标 iv 区分 a 的分量、样本或离散状态,单位:由上下文确定
    ww
    在“离散词元的条件分类”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    VV
    按注意力权重汇总输出,单位:由上下文确定
    aiwa_{iw}
    用下标 iw 区分 a 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把离散 token 重建与连续特征回归整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:数值实现应采用 log-sum-exp,不能直接对大 logit 求指数。
    • 推导:A08 · 掩码预测与上下文建模
  12. 式 72

    机器学习 · 神经网络 · 典范公式

    例 4:为工业缺陷实例掩码比较三个方案

    教材位置:A06 · 几何、数据偏差与计算机视觉综合复习

    N2=268 435 456N^2=268\,435\,456
    成立条件
    • 任务输入为 2048×20482048\times2048 面板图,要求输出每个缺陷的独立掩码并计算面积;缺陷宽度约四至四十像素,边缘设备有显存和延迟限制。
    • 它满足实例掩码合同,局部入口也更适合微小缺陷,是优先验证候选。
    阅读正文 ↗
    变量与应用

    变量

    NN
    在“例 4:为工业缺陷实例掩码比较三个方案”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把类别长尾、背景捷径与域偏移整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:它成本较低,却只输出图像类别,无法区分实例或计算每个面积,因此首先因输出合同不符而淘汰。
    • 推导:A06 · 几何、数据偏差与计算机视觉综合复习
  13. 式 73

    机器学习 · 学习基础 · 典范公式

    连续值预测

    教材位置:A01 · 线性回归、最小二乘与正规方程

    hw,b(x)=wTx+b,h_{w,b}(x)=w^\mathsf T x+b,
    成立条件
    • 因而“线性”描述参数进入预测式的方式,不表示预测曲线在原始坐标中一定是一条直线。
    • 把截距列并入设计矩阵。
    阅读正文 ↗
    变量与应用

    变量

    hwbh_{wb}
    用下标 wb 区分 h 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“连续值预测”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ww
    在“连续值预测”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    bb
    在“连续值预测”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把最小二乘正规方程与投影解释整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:此时正规方程仍可能有解,但直接逆矩阵公式失效。
    • 推导:A01 · 线性回归、最小二乘与正规方程
  14. 式 74

    机器学习 · 生成模型 · 典范公式

    联合分布的链式分解

    教材位置:A09 · 自回归生成与序列似然

    p(x1,…,xT)=p(x1)∏t=2Tp(xt∣x1,…,xt−1)=∏t=1Tp(xt∣x<t),p(x_1,\ldots,x_T) =p(x_1)\prod_{t=2}^{T}p(x_t\mid x_1,\ldots,x_{t-1}) =\prod_{t=1}^{T}p(x_t\mid x_{<t}),
    成立条件
    • 设观测由有序变量 x=(x1,…,xT)x=(x_1,\ldots,x_T) 组成。
    • 若每个真实条件分布都能精确表示,任何排列都描述同一联合分布;有限模型、有限数据和具体架构下,不同排列会提供不同可见上下文,因而形成不同归纳偏置。
    阅读正文 ↗
    变量与应用

    变量

    pp
    在“联合分布的链式分解”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    x1x_{1}
    用下标 1 区分 x 的分量、样本或离散状态,单位:由上下文确定
    xTx_{T}
    用下标 T 区分 x 的分量、样本或离散状态,单位:由上下文确定
    tt
    在“联合分布的链式分解”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    xtx_{t}
    用下标 t 区分 x 的分量、样本或离散状态,单位:由上下文确定
    xt−1x_{t-1}
    用下标 t-1 区分 x 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把因果掩码、条件似然与 token 顺序整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:不能把 0.6+0.7+0.20.6+0.7+0.2 当作序列概率,也不能只报告平均值而不说明是否包含起止符、填充位置和使用的对数底。
    • 推导:A09 · 自回归生成与序列似然
  15. 式 75

    机器学习 · 学习基础 · 约束

    模型相关性与聚合方差

    教材位置:A02 · 随机森林与袋装集成

    Var⁡ ⁣(1B∑b=1BTb)=ρσ2+1−ρBσ2.\operatorname{Var}\!\left(\frac1B\sum_{b=1}^B T_b\right) =\rho\sigma^2+\frac{1-\rho}{B}\sigma^2.
    成立条件
    • 保存随机种子可以复现具体森林,但性能区间仍应以数据独立单位为重采样层级,不能把不同种子当成新的独立测试样本。
    • 设 BB 棵回归树在某输入处具有相同方差 σ2\sigma^2,任意两棵树预测相关系数近似为 ρ\rho。
    阅读正文 ↗
    变量与应用

    变量

    BB
    在“模型相关性与聚合方差”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    bb
    在“模型相关性与聚合方差”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    TbT_{b}
    用下标 b 区分 T 的分量、样本或离散状态,单位:由上下文确定
    ρ\rho
    在“模型相关性与聚合方差”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    σ\sigma
    在“模型相关性与聚合方差”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把随机特征子集与树间相关性整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:增加树数可减少有限森林的蒙特卡洛波动,却无法消除所有树共同犯的偏差。
    • 推导:A02 · 随机森林与袋装集成
  16. 式 76

    机器学习 · 学习基础 · 典范公式

    目标分布与风险

    教材位置:A01 · 经验风险、容量与一致收敛

    R(f)=EZ∼P[ℓ(f(X),Y)],R(f)=\mathbb E_{Z\sim P}[\ell(f(X),Y)],
    成立条件
    • 令样本 Z=(X,Y)Z=(X,Y) 来自目标联合分布 PP,预测函数 ff 属于预先给定的假设类 H\mathcal H,损失为 ℓ(f(X),Y)\ell(f(X),Y)。
    • 这一定义包含假设类、损失和优化精度,不等于某一种算法。
    阅读正文 ↗
    变量与应用

    变量

    RR
    在“目标分布与风险”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ff
    在“目标分布与风险”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ZZ
    在“目标分布与风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    PP
    在“目标分布与风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ℓ\ell
    在“目标分布与风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    XX
    在“目标分布与风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    YY
    在“目标分布与风险”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把增长函数、VC 维与复杂度控制整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:它是部署总体上长期平均损失,通常无法直接求得。
    • 推导:A01 · 经验风险、容量与一致收敛
  17. 式 77

    机器学习 · 神经网络 · 典范公式

    配对关系与监督信号

    教材位置:A08 · 对比学习、负样本与信息瓶颈

    xi=t(x),xj=t′(x).x_i=t(x),\qquad x_j=t'(x).
    成立条件
    • 两者分开很重要:目标可以在投影空间中删除增强细节,而下游任务仍可读取编码器表示中保留的信息。
    • 同一照片的两次增强若都保留目标,这一假设可能合理;若一次裁剪只剩背景,目标就会强迫背景与主体接近。
    阅读正文 ↗
    变量与应用

    变量

    xix_{i}
    用下标 i 区分 x 的分量、样本或离散状态,单位:由上下文确定
    tt
    在“配对关系与监督信号”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    xx
    在“配对关系与监督信号”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    xjx_{j}
    用下标 j 区分 x 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把负样本队列、批量大小与假负例整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若不归一化,点积同时受角度与长度影响,温度、权重衰减和特征范数会共同改变概率尺度,实验结论不能与归一化版本直接混用。
    • 推导:A08 · 对比学习、负样本与信息瓶颈
  18. 式 78

    机器学习 · 神经网络 · 典范公式

    平移等变性与不变性

    教材位置:A06 · 离散卷积、感受野与参数共享

    F(Tδx)=TδF(x),F(T_\delta x)=T_\delta F(x),
    成立条件
    • 若层间非线性或学习权重使远端路径贡献很小,经验上的有效感受野可能远小于理论覆盖;二者不能混称。
    • 若把输入向右平移并在左侧补零,得 x′=(0,1,0)x'=(0,1,0),输出为 (1,1,1)(1,1,1)。
    阅读正文 ↗
    变量与应用

    变量

    FF
    在“平移等变性与不变性”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    TδT_{\delta}
    用下标 delta 区分 T 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“平移等变性与不变性”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把步幅、膨胀和池化下的感受野整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若层间非线性或学习权重使远端路径贡献很小,经验上的有效感受野可能远小于理论覆盖;二者不能混称。
    • 推导:A06 · 离散卷积、感受野与参数共享
  19. 式 79

    机器学习 · 学习基础 · 典范公式

    潜变量与边缘似然

    教材位置:A03 · EM 算法与变分推断

    pθ(x)=∑zpθ(x,z)p_\theta(x)=\sum_zp_\theta(x,z)
    成立条件
    • 设观测为 xx,未观测变量为 zz,联合模型为 pθ(x,z)p_\theta(x,z)。
    • 若 ziz_i 已知,完整数据对数似然 log⁡pθ(xi,zi)\log p_\theta(x_i,z_i) 常能按充分统计量分解;未知时,“对数外有求和”使直接最大化困难。
    阅读正文 ↗
    变量与应用

    变量

    pθp_{\theta}
    用下标 theta 区分 p 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“潜变量与边缘似然”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    zpθzp_{\theta}
    用下标 theta 区分 zp 的分量、样本或离散状态,单位:由上下文确定
    zz
    在“潜变量与边缘似然”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把E 步后验期望与 M 步参数更新整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:对潜变量命名为“疾病类型”或“用户意图”之前,需要外部测量和稳定性证据,不能只凭似然较高。
    • 推导:A03 · EM 算法与变分推断
  20. 式 80

    机器学习 · 神经网络 · 典范公式

    双塔编码器与共享空间

    教材位置:A08 · 跨模态对齐与预训练迁移

    hiI=fθ(xi),hjT=gϕ(cj),ziI=WIhiI,zjT=WThjT.h_i^{I}=f_\theta(x_i),\quad h_j^{T}=g_\phi(c_j),\qquad z_i^{I}=W_Ih_i^{I},\quad z_j^{T}=W_Th_j^{T}.
    成立条件
    • 若每个批量只允许一条对角正对,可在每轮为图像甲采样一条说明,但另一条说明不能同时被当作负例。
    • 若范数原本携带质量信息,可另设质量头,但不能一边归一化一边解释归一化前范数。
    阅读正文 ↗
    变量与应用

    变量

    hih_{i}
    用下标 i 区分 h 的分量、样本或离散状态,单位:由上下文确定
    II
    在“双塔编码器与共享空间”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    fθf_{\theta}
    用下标 theta 区分 f 的分量、样本或离散状态,单位:由上下文确定
    xix_{i}
    用下标 i 区分 x 的分量、样本或离散状态,单位:由上下文确定
    hjh_{j}
    用下标 j 区分 h 的分量、样本或离散状态,单位:由上下文确定
    gϕg_{\phi}
    用下标 phi 区分 g 的分量、样本或离散状态,单位:由上下文确定
    cjc_{j}
    用下标 j 区分 c 的分量、样本或离散状态,单位:由上下文确定
    ziz_{i}
    用下标 i 区分 z 的分量、样本或离散状态,单位:由上下文确定
    WIW_{I}
    用下标 I 区分 W 的分量、样本或离散状态,单位:由上下文确定
    zjz_{j}
    用下标 j 区分 z 的分量、样本或离散状态,单位:由上下文确定
    WTW_{T}
    用下标 T 区分 W 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把跨模态注意力、匹配和生成目标整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若每个批量只允许一条对角正对,可在每轮为图像甲采样一条说明,但另一条说明不能同时被当作负例。
    • 推导:A08 · 跨模态对齐与预训练迁移