公式索引

300 条公式
  1. 式 101

    机器学习 · 学习基础 · 典范公式

    折扣回报

    教材位置:A10 · Markov 决策过程与 Bellman 方程

    Gt=Rt+1+γRt+2+γ2Rt+3+⋯=∑k=0∞γkRt+k+1.G_t=R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\cdots =\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}.
    成立条件
    • 折扣可表达对较晚奖励的较小权重,也能在奖励有界且 γ<1\gamma<1 的持续任务中保证无穷和有限。
    • 回合任务若几乎必然有限且期望回报存在,可以使用 γ=1\gamma=1;持续任务若关注长期平均奖励,则需要与折扣目标不同的定义。
    阅读正文 ↗
    变量与应用

    变量

    GtG_{t}
    用下标 t 区分 G 的分量、样本或离散状态,单位:由上下文确定
    Rt+1R_{t+1}
    用下标 t+1 区分 R 的分量、样本或离散状态,单位:由上下文确定
    γ\gamma
    在“折扣回报”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    Rt+2R_{t+2}
    用下标 t+2 区分 R 的分量、样本或离散状态,单位:由上下文确定
    Rt+3R_{t+3}
    用下标 t+3 区分 R 的分量、样本或离散状态,单位:由上下文确定
    kk
    标记当前或下一次更新,单位:由上下文确定
    kRt+k+1kR_{t+k+1}
    用下标 t+k+1 区分 kR 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把策略价值、动作价值与占用分布整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:状态工程改变问题定义,不能只靠给模型增加容量修复被永久删除的信息。
    • 推导:A10 · Markov 决策过程与 Bellman 方程
  2. 式 102

    机器学习 · 神经网络 · 约束

    智能体的状态循环

    教材位置:A12 · 工具调用、记忆与任务规划

    st=(g,o≤t,mt,pt,ct,bt,et),s_t=(g,o_{\le t},m_t,p_t,c_t,b_t,e_t),
    成立条件
    • 其中 gg 是冻结或经授权变更的目标,o≤to_{\le t} 是已接收观测,mtm_t 是工作记忆,ptp_t 是当前计划,ctc_t 是权限与安全约束,btb_t 是剩余时间、费用和调用预算,ete_t 是尚未确认的外部副作用。
    • 用户要求为设备预约维护。
    阅读正文 ↗
    变量与应用

    变量

    sts_{t}
    用下标 t 区分 s 的分量、样本或离散状态,单位:由上下文确定
    gg
    在“智能体的状态循环”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    oto_{t}
    用下标 t 区分 o 的分量、样本或离散状态,单位:由上下文确定
    mtm_{t}
    用下标 t 区分 m 的分量、样本或离散状态,单位:由上下文确定
    ptp_{t}
    用下标 t 区分 p 的分量、样本或离散状态,单位:由上下文确定
    ctc_{t}
    用下标 t 区分 c 的分量、样本或离散状态,单位:由上下文确定
    btb_{t}
    用下标 t 区分 b 的分量、样本或离散状态,单位:由上下文确定
    ete_{t}
    用下标 t 区分 e 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把短期上下文、外部记忆与状态更新整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:系统可请求事故编号或把草案降为中优先级供用户选择,不能静默补造编号。
    • 推导:A12 · 工具调用、记忆与任务规划
  3. 式 103

    机器学习 · 神经网络 · 典范公式

    置信度与条件正确率

    教材位置:A13 · 校准、分布外检测与选择性预测

    Pr⁡{Y=y^(X)∣C(X)=c}=c\Pr\{Y=\widehat y(X)\mid C(X)=c\}=c
    成立条件
    • 类别条件校准检查 pkp_k 与事件 Y=kY=k,群体校准还按区域、设备或人群分层。
    • 点在对角线下方表示该箱平均过度自信,在上方表示平均保守。
    阅读正文 ↗
    变量与应用

    变量

    YY
    在“置信度与条件正确率”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    yy
    在“置信度与条件正确率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    XX
    在“置信度与条件正确率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    CC
    在“置信度与条件正确率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    cc
    在“置信度与条件正确率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把能量分数、密度比与分布外检测整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:改变箱边界会改变图形,必须连同边界、空箱规则和样本数一起报告。
    • 推导:A13 · 校准、分布外检测与选择性预测
  4. 式 104

    机器学习 · 神经网络 · 典范公式

    重构目标与任务信息

    教材位置:A08 · 表示学习目标、相似度与不变性

    Lpred=−log⁡pϕ(t∣fθ(c)).\mathcal{L}_{\mathrm{pred}}=-\log p_\phi(t\mid f_\theta(c)).
    成立条件
    • 目标若太容易,模型可能利用局部纹理、位置模板或数据格式;目标若含不可预测噪声,训练会把容量浪费在不确定细节。
    • 相似度常用归一化向量的点积,温度调节分数差异在 softmax 中的尺度。
    阅读正文 ↗
    变量与应用

    变量

    LL
    在“重构目标与任务信息”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    pϕp_{\phi}
    用下标 phi 区分 p 的分量、样本或离散状态,单位:由上下文确定
    tt
    在“重构目标与任务信息”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    fθf_{\theta}
    用下标 theta 区分 f 的分量、样本或离散状态,单位:由上下文确定
    cc
    在“重构目标与任务信息”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把相似度函数、归一化嵌入与温度参数整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若伪标签由当前表示产生,分配和更新应避免同一步自我确认,例如使用延迟目标、平衡约束或独立视图;这些机制仍不能保证簇等于人类语义。
    • 推导:A08 · 表示学习目标、相似度与不变性
  5. 式 105

    机器学习 · 神经网络 · 典范公式

    注意力张量的维度

    教材位置:A07 · 多头注意力与位置表示

    Q∈RB×H×Nq×dk,K∈RB×H×Nk×dk,V∈RB×H×Nk×dv.Q\in\mathbb R^{B\times H\times N_q\times d_k},\quad K\in\mathbb R^{B\times H\times N_k\times d_k},\quad V\in\mathbb R^{B\times H\times N_k\times d_v}.
    成立条件
    • 设查询输入 Xq∈RB×Nq×dmodelX_q\in\mathbb R^{B\times N_q\times d_{\mathrm{model}}},键值输入 Xkv∈RB×Nk×dmodelX_{kv}\in\mathbb R^{B\times N_k\times d_{\mathrm{model}}}。
    • 若先 reshape 却漏掉头与序列轴转置,矩阵乘法可能仍运行,却会把不同头或 token 错配。
    阅读正文 ↗
    变量与应用

    变量

    QQ
    提供待匹配的查询向量,单位:由上下文确定
    BB
    在“注意力张量的维度”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    HH
    在“注意力张量的维度”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    NqN_{q}
    用下标 q 区分 N 的分量、样本或离散状态,单位:由上下文确定
    dkd_{k}
    缩放点积以控制 softmax 输入幅度,单位:由上下文确定
    KK
    与查询计算缩放相似度,单位:由上下文确定
    NkN_{k}
    用下标 k 区分 N 的分量、样本或离散状态,单位:由上下文确定
    VV
    按注意力权重汇总输出,单位:由上下文确定
    dvd_{v}
    用下标 v 区分 d 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把正弦、学习式与旋转位置编码整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:被遮蔽位置不能只减一个不够大的常数,否则低精度或大 logit 下仍有非零权重;使用布尔掩码交给稳定内核更可靠。
    • 推导:A07 · 多头注意力与位置表示
  6. 式 106

    机器学习 · 神经网络 · 典范公式

    自回归似然与链式法则

    教材位置:A07 · 序列损失、教师强制与解码

    pθ(y1:T∣x)=∏t=1Tpθ(yt∣y<t,x).p_\theta(y_{1:T}\mid x) =\prod_{t=1}^{T}p_\theta(y_t\mid y_{<t},x).
    成立条件
    • 两者都必须阻止当前位置看到未来真实目标,否则训练损失会因标签泄漏而虚低。
    • 若输入和目标不移位而把“春”同时放在第一输入与第一标签,模型可直接复制当前词;若忘记 EOS,推理时没有由训练目标学到的停止事件。
    阅读正文 ↗
    变量与应用

    变量

    pθp_{\theta}
    用下标 theta 区分 p 的分量、样本或离散状态,单位:由上下文确定
    y1Ty_{1T}
    用下标 1T 区分 y 的分量、样本或离散状态,单位:由上下文确定
    xx
    在“自回归似然与链式法则”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    tt
    在“自回归似然与链式法则”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    yty_{t}
    用下标 t 区分 y 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把教师强制、曝光偏差与计划采样整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:第三类是因果 mask:位置 tt 不能读取 tt 之后的目标。
    • 推导:A07 · 序列损失、教师强制与解码
  7. 式 107

    机器学习 · 学习基础 · 典范公式

    Actor-Critic 与优势估计

    教材位置:A10 · 策略梯度、actor–critic 与优势估计

    Aπ(s,a)=qπ(s,a)−vπ(s)A^\pi(s,a)=q_\pi(s,a)-v_\pi(s)
    成立条件
    • 状态价值评论器 Vψ(s)V_\psi(s) 估计当前策略从状态出发的期望回报。
    • 当前 V(s)=1.4V(s)=1.4,观测奖励 0.50.5,下一状态 V(s′)=2V(s')=2,γ=0.9\gamma=0.9,转移未终止。
    阅读正文 ↗
    变量与应用

    变量

    AA
    在“Actor-Critic 与优势估计”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    π\pi
    在“Actor-Critic 与优势估计”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ss
    在“Actor-Critic 与优势估计”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    aa
    在“Actor-Critic 与优势估计”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    qπq_{\pi}
    用下标 pi 区分 q 的分量、样本或离散状态,单位:由上下文确定
    vπv_{\pi}
    用下标 pi 区分 v 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把actor–critic 的价值基线与时序更新整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:两个更新目标、学习率和停止梯度边界必须分开。
    • 推导:A10 · 策略梯度、actor–critic 与优势估计
  8. 式 108

    机器学习 · 神经网络 · 约束

    GCN 的归一化消息

    教材位置:A11 · 消息传递与图卷积

    H′=σ(D~−1/2A~D~−1/2HW).H'=\sigma\left( \widetilde D^{-1/2}\widetilde A\widetilde D^{-1/2}HW \right).
    成立条件
    • 先用足够表达的消息映射再求和可区分更多多集合,但在有限维、有限精度和有限参数下仍非无损编码。
    • 对称归一化抑制高连接度节点的绝对累加尺度,自环保留当前节点信息,WW 混合特征通道。
    阅读正文 ↗
    变量与应用

    变量

    HH
    在“GCN 的归一化消息”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    σ\sigma
    在“GCN 的归一化消息”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    AA
    在“GCN 的归一化消息”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    WW
    在“GCN 的归一化消息”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把GCN 归一化、GraphSAGE 采样与 GAT 权重整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:mean 无法区分多集合 {1}\{1\} 与 {1,1}\{1,1\},max 无法记录重复次数,普通 sum 可能让不同数值组合相撞。
    • 推导:A11 · 消息传递与图卷积
  9. 式 109

    机器学习 · 学习基础 · 典范公式

    Gram 矩阵与正半定条件

    教材位置:A02 · 特征映射、正定核与再生核空间

    k(x,z)=ak1(x,z)+bk2(x,z)k(x,z)=a k_1(x,z)+b k_2(x,z)
    成立条件
    • 若有人把 s(x,z)=−xzs(x,z)=-xz 当作核,只取单点 x1=1x_1=1 就得到 Gram 矩阵 [−1][-1]。
    • 仍是核,它相当于拼接并缩放两组特征。
    阅读正文 ↗
    变量与应用

    变量

    kk
    标记当前或下一次更新,单位:由上下文确定
    xx
    在“Gram 矩阵与正半定条件”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    zz
    在“Gram 矩阵与正半定条件”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    aa
    在“Gram 矩阵与正半定条件”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    k1k_{1}
    用下标 1 区分 k 的分量、样本或离散状态,单位:由上下文确定
    bb
    在“Gram 矩阵与正半定条件”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    k2k_{2}
    用下标 2 区分 k 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把Mercer 条件、Gram 矩阵与正定性整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:该函数虽然对称,也能给某些输入“相似度”数值,却不能作为普通内积核直接放入依赖凸性的核算法。
    • 推导:A02 · 特征映射、正定核与再生核空间
  10. 式 110

    机器学习 · 神经网络 · 典范公式

    GRU 的门控与隐藏状态

    教材位置:A07 · 循环网络、门控单元与状态传播

    zt=σ(Wzxt+Uzht−1+bz),rt=σ(Wrxt+Urht−1+br),h~t=tanh⁡(Whxt+Uh(rt⊙ht−1)+bh),ht=(1−zt)⊙ht−1+zt⊙h~t.\begin{aligned} z_t&=\sigma(W_zx_t+U_zh_{t-1}+b_z),\\ r_t&=\sigma(W_rx_t+U_rh_{t-1}+b_r),\\ \widetilde h_t&=\tanh(W_hx_t+U_h(r_t\odot h_{t-1})+b_h),\\ h_t&=(1-z_t)\odot h_{t-1}+z_t\odot\widetilde h_t. \end{aligned}
    成立条件
    • 若连续三步的直接遗忘门都固定为 0.8,忽略门对旧状态的间接依赖,细胞直接梯度因子为 0.83=0.5120.8^3=0.512,明显大于简单 Jacobian 为 0.5 时的 0.1250.125。
    • 若其他量不变而 zt=0.9z_t=0.9,则 ht=0.1−0.45=−0.35h_t=0.1-0.45=-0.35,主要采用候选。
    阅读正文 ↗
    变量与应用

    变量

    ztz_{t}
    用下标 t 区分 z 的分量、样本或离散状态,单位:由上下文确定
    σ\sigma
    在“GRU 的门控与隐藏状态”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    WzW_{z}
    用下标 z 区分 W 的分量、样本或离散状态,单位:由上下文确定
    xtx_{t}
    用下标 t 区分 x 的分量、样本或离散状态,单位:由上下文确定
    UzU_{z}
    用下标 z 区分 U 的分量、样本或离散状态,单位:由上下文确定
    ht−1h_{t-1}
    用下标 t-1 区分 h 的分量、样本或离散状态,单位:由上下文确定
    bzb_{z}
    用下标 z 区分 b 的分量、样本或离散状态,单位:由上下文确定
    rtr_{t}
    用下标 t 区分 r 的分量、样本或离散状态,单位:由上下文确定
    WrW_{r}
    用下标 r 区分 W 的分量、样本或离散状态,单位:由上下文确定
    UrU_{r}
    用下标 r 区分 U 的分量、样本或离散状态,单位:由上下文确定
    brb_{r}
    用下标 r 区分 b 的分量、样本或离散状态,单位:由上下文确定
    hth_{t}
    用下标 t 区分 h 的分量、样本或离散状态,单位:由上下文确定
    WhW_{h}
    用下标 h 区分 W 的分量、样本或离散状态,单位:由上下文确定
    UhU_{h}
    用下标 h 区分 U 的分量、样本或离散状态,单位:由上下文确定
    bhb_{h}
    用下标 h 区分 b 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把LSTM 门控、GRU 更新与长期依赖整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:重置门在更早阶段改变候选怎样读取旧状态;它不直接出现在最后混合式中,不能与更新门互换解释。
    • 推导:A07 · 循环网络、门控单元与状态传播
  11. 式 111

    机器学习 · 神经网络 · 典范公式

    Hessian 与局部曲率

    教材位置:A05 · 学习率调度与二阶近似

    L(θ+p)≈L(θ)+gTp+12pTHp,L(\theta+p)\approx L(\theta)+g^\mathsf Tp+\frac12p^\mathsf THp,
    成立条件
    • 若把阈值改成非严格比较或在冷却期忽略最佳更新,轨迹会不同。
    • Hessian 奇异时逆不存在,Hessian 不定时 Newton 方向甚至可能不是下降方向。
    阅读正文 ↗
    变量与应用

    变量

    LL
    在“Hessian 与局部曲率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    θ\theta
    在“Hessian 与局部曲率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    pp
    在“Hessian 与局部曲率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    gg
    在“Hessian 与局部曲率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    HH
    在“Hessian 与局部曲率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把Hessian 曲率、条件数与 Newton 方向整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:调度规则、验证频率和缺失指标处理都属于算法状态,不能只记录“使用了 plateau scheduler”。
    • 推导:A05 · 学习率调度与二阶近似
  12. 式 112

    机器学习 · 学习基础 · 典范公式

    K 均值的目标与 Lloyd 交替优化

    教材位置:A03 · 聚类目标、K 均值与密度方法

    J(z,μ)=∑i=1n∥xi−μzi∥22,J(z,\mu)=\sum_{i=1}^n\lVert x_i-\mu_{z_i}\rVert_2^2,
    成立条件
    • 按可观测维度临时缩放距离会让不同样本对使用不同几何,可能破坏三角不等式;插补则引入模型假设。
    • 若把收入单位从元改成万元而身高仍用米,两段距离都约为 0.200250.20025,两者变成平局;再按不同领域权重缩放,最近邻甚至可能改变。
    阅读正文 ↗
    变量与应用

    变量

    JJ
    在“K 均值的目标与 Lloyd 交替优化”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    zz
    在“K 均值的目标与 Lloyd 交替优化”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    μ\mu
    在“K 均值的目标与 Lloyd 交替优化”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    ii
    在“K 均值的目标与 Lloyd 交替优化”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    nn
    在“K 均值的目标与 Lloyd 交替优化”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    xix_{i}
    用下标 i 区分 x 的分量、样本或离散状态,单位:由上下文确定
    μz\mu_{z}
    用下标 z 区分 mu 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把层次聚类的链接准则与树状图整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:有限分配状态与确定平局规则使算法最终停止在一个不再变化的局部解,但不保证全局最小。
    • 推导:A03 · 聚类目标、K 均值与密度方法
  13. 式 113

    机器学习 · 学习基础 · 约束

    Logistic 回归的条件概率

    教材位置:A01 · 线性模型与统计学习综合复习

    L^(β0,β)=−1n∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)].\widehat L(\beta_0,\beta)= -\frac1n\sum_{i=1}^n\left[y_i\log p_i+(1-y_i)\log(1-p_i)\right].
    成立条件
    • 它只说明样本内目标已在该线性类中优化,不说明未来关系线性;还需在独立数据检查误差和残差结构。
    • 反过来,Logistic 概率有合法范围也不保证校准,特征错设和分布偏移仍会使概率失真。
    阅读正文 ↗
    变量与应用

    变量

    LL
    提供需要最小化的标量目标,单位:由上下文确定
    β0\beta_{0}
    用下标 0 区分 beta 的分量、样本或离散状态,单位:由上下文确定
    β\beta
    在“Logistic 回归的条件概率”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    nn
    在“Logistic 回归的条件概率”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ii
    在“Logistic 回归的条件概率”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    yiy_{i}
    用下标 i 区分 y 的分量、样本或离散状态,单位:由上下文确定
    pip_{i}
    用下标 i 区分 p 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把正则路径、交叉验证与超参数选择整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:它可作快速基线或局部近似,但不能无条件替代概率模型。
    • 推导:A01 · 线性模型与统计学习综合复习
  14. 式 114

    机器学习 · 学习基础 · 典范公式

    MDP 的时间步与终止条件

    教材位置:A10 · 稳定性、评估与强化学习综合复习

    Gt=∑k=0T−t−1γkRt+k+1.G_t=\sum_{k=0}^{T-t-1}\gamma^kR_{t+k+1}.
    成立条件
    • 真终止后不再自举,截断处若环境本可继续,则是否自举取决于持续任务定义。
    • 应按班次、地图、负载和设备版本定义训练与评价初始分布。
    阅读正文 ↗
    变量与应用

    变量

    GtG_{t}
    用下标 t 区分 G 的分量、样本或离散状态,单位:由上下文确定
    kk
    标记当前或下一次更新,单位:由上下文确定
    tt
    在“MDP 的时间步与终止条件”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    γ\gamma
    在“MDP 的时间步与终止条件”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    kRt+k+1kR_{t+k+1}
    用下标 t+k+1 区分 kR 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把在线离线评估、反事实估计与置信区间整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:真终止后不再自举,截断处若环境本可继续,则是否自举取决于持续任务定义。
    • 推导:A10 · 稳定性、评估与强化学习综合复习
  15. 式 115

    机器学习 · 学习基础 · 典范公式

    Monte Carlo 回报估计

    教材位置:A10 · 动态规划、Monte Carlo 与时序差分

    Gt=∑k=0T−t−1γkRt+k+1.G_t=\sum_{k=0}^{T-t-1}\gamma^kR_{t+k+1}.
    成立条件
    • 若模型未知,不能直接算这些期望;若状态巨大,即使模型已知也可能计算不可承受。
    • 若对每个状态保存所有访问后的回报并取样本均值,在适当独立性或遍历、有限方差和访问充分条件下,均值可趋近 Vπ(s)V^\pi(s)。
    阅读正文 ↗
    变量与应用

    变量

    GtG_{t}
    用下标 t 区分 G 的分量、样本或离散状态,单位:由上下文确定
    kk
    标记当前或下一次更新,单位:由上下文确定
    tt
    在“Monte Carlo 回报估计”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    γ\gamma
    在“Monte Carlo 回报估计”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    kRt+k+1kR_{t+k+1}
    用下标 t+k+1 区分 kR 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把Monte Carlo 回报与自举估计整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:若模型未知,不能直接算这些期望;若状态巨大,即使模型已知也可能计算不可承受。
    • 推导:A10 · 动态规划、Monte Carlo 与时序差分
  16. 式 116

    机器学习 · 学习基础 · 典范公式

    PCA 的中心化

    教材位置:A03 · 主成分分析与流形降维

    S=1nXcTXc,S=\frac1nX_c^\mathsf TX_c,
    成立条件
    • PCA 寻找穿过均值的线性子空间;若不中心化,第一方向会被原点到数据均值的偏移主导,回答的是另一个问题。
    • 若样本带权或存在相关重复观测,普通行等权协方差不再自动对应目标总体。
    阅读正文 ↗
    变量与应用

    变量

    SS
    在“PCA 的中心化”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    nXcnX_{c}
    用下标 c 区分 nX 的分量、样本或离散状态,单位:由上下文确定
    XcX_{c}
    用下标 c 区分 X 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把奇异值分解、解释方差与重构误差整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:验证、测试与新样本必须减训练均值,不能各自重新中心化。
    • 推导:A03 · 主成分分析与流形降维
  17. 式 117

    机器学习 · 神经网络 · 典范公式

    ReLU 与分段线性网络

    教材位置:A04 · 激活函数与非线性表示

    ReLU⁡(z)=max⁡(0,z).\operatorname{ReLU}(z)=\max(0,z).
    成立条件
    • 若 z=10z=10,sigmoid 导数约为 4.54×10−54.54\times10^{-5},相同上游梯度传回的绝对值约为 1.36×10−51.36\times10^{-5}。
    • 单个点的选择通常不改变连续分布下的整体训练,但在离散输入、精确零初始化或梯度检查中必须知道具体约定。
    阅读正文 ↗
    变量与应用

    变量

    zz
    在“ReLU 与分段线性网络”中作为等号左侧的目标量参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把ReLU 族的分段线性结构整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:梯度变小来自当前预激活进入饱和区;不能仅凭使用 sigmoid 就断言整个网络一定无法训练,还要检查偏置、输入尺度、深度和其他梯度路径。
    • 推导:A04 · 激活函数与非线性表示
  18. 式 118

    机器学习 · 神经网络 · 典范公式

    RNN 的隐藏状态

    教材位置:A07 · 长序列、效率与 Transformer 综合复习

    ht=ϕ(Wxxt+Whht−1+b),yt=g(Wyht)h_t=\phi(W_xx_t+W_hh_{t-1}+b),\qquad y_t=g(W_yh_t)
    成立条件
    • 若训练读取未来而部署不能读取,验证分数再高也不代表系统可用。
    • 若顺序交换,第一步得到约 −0.462-0.462,第二步得到 tanh⁡(0.5−0.370)≈0.129\tanh(0.5-0.370)\approx0.129。
    阅读正文 ↗
    变量与应用

    变量

    hth_{t}
    用下标 t 区分 h 的分量、样本或离散状态,单位:由上下文确定
    ϕ\phi
    在“RNN 的隐藏状态”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    WxW_{x}
    用下标 x 区分 W 的分量、样本或离散状态,单位:由上下文确定
    xtx_{t}
    用下标 t 区分 x 的分量、样本或离散状态,单位:由上下文确定
    WhW_{h}
    用下标 h 区分 W 的分量、样本或离散状态,单位:由上下文确定
    ht−1h_{t-1}
    用下标 t-1 区分 h 的分量、样本或离散状态,单位:由上下文确定
    bb
    在“RNN 的隐藏状态”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    yty_{t}
    用下标 t 区分 y 的分量、样本或离散状态,单位:由上下文确定
    gg
    在“RNN 的隐藏状态”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    WyW_{y}
    用下标 y 区分 W 的分量、样本或离散状态,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把长上下文记忆、位置外推与检索干扰整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:代价是时间轴无法在单层内完全并行:hth_t 必须等待 ht−1h_{t-1}。
    • 推导:A07 · 长序列、效率与 Transformer 综合复习
  19. 式 119

    机器学习 · 神经网络 · 典范公式

    Shapley 值与边际贡献

    教材位置:A13 · 特征归因、显著性与反事实

    ϕi=∑S⊆F∖{i}∣S∣!(d−∣S∣−1)!d![v(S∪{i})−v(S)].\phi_i= \sum_{S\subseteq F\setminus\{i\}} \frac{|S|!(d-|S|-1)!}{d!} [v(S\cup\{i\})-v(S)].
    成立条件
    • 两者都不等于干预现实变量的因果效应;若 X1,X2X_1,X_2 由共同原因产生,真实干预还需因果模型。
    • 它平均特征在所有加入顺序中的边际贡献,并满足效率、对称、虚设特征和可加性等性质。
    阅读正文 ↗
    变量与应用

    变量

    ϕi\phi_{i}
    用下标 i 区分 phi 的分量、样本或离散状态,单位:由上下文确定
    SS
    在“Shapley 值与边际贡献”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    FF
    在“Shapley 值与边际贡献”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定
    ii
    在“Shapley 值与边际贡献”中作为等号左侧的目标量参与关系计算,单位:由上下文确定
    vv
    在“Shapley 值与边际贡献”中作为等号右侧的输入量或系数参与关系计算,单位:由上下文确定

    相关概念

    适用与边界

    • 应用:把扰动归因、SHAP 值与特征交互整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:图像涂黑块制造锐利边界,文本删除词会改变语法,表格独立打乱一列会破坏相关结构。
    • 推导:A13 · 特征归因、显著性与反事实
  20. 式 120

    数学 · 泛函分析与算子理论 · 定义式

    伴随、自伴与正算子

    教材位置:M16 · 紧算子与自伴算子

    ⟨Tx,y⟩=⟨x,T∗y⟩(x∈H).\langle Tx,y\rangle=\langle x,T^*y\rangle \quad(x\in H).
    成立条件
    • 设 H,KH,K 为 Hilbert 空间,T:H→KT:H\to K 有界。
    • 若 H=KH=K 且 T=T∗T=T^*,称 TT 自伴。
    阅读正文 ↗
    变量与应用

    变量

    TT
    在“伴随、自伴与正算子”中作为等号左侧的目标量参与关系计算,单位:不适用
    xx
    在“伴随、自伴与正算子”中作为等号左侧的目标量参与关系计算,单位:不适用
    yy
    在“伴随、自伴与正算子”中作为等号左侧的目标量参与关系计算,单位:不适用
    HH
    在“伴随、自伴与正算子”中作为等号右侧的输入量或系数参与关系计算,单位:不适用

    相关概念

    适用与边界

    • 应用:把自伴算子的实谱和正交性整理为可检查的关系、判据或算法步骤;涉及定量模型时写出公式,并说明符号、适用条件,以及需要时的单位或复杂度。
    • 边界:这条定理常用于变分问题:弱收敛提供有界列的候选极限,紧算子再把观测量或低阶项提升为强收敛。
    • 推导:M16 · 紧算子与自伴算子