专题路线

生成模型入门

比较潜变量、重建、对抗、流、能量、得分和扩散等生成建模路线。

28 小时精选 7 个教材章节具有概率和神经网络基础,希望理解现代生成模型差异的学习者。
本地学习进度0/7 节完成
0%

进入路线前

路线目标

  1. 01区分显式密度、隐式生成和潜变量模型的训练目标。
  2. 02解释 VAE、GAN 与归一化流各自的可计算量和限制。
  3. 03从得分函数和 Markov 过程理解扩散模型。

分阶段学习顺序

路线按阶段连续组织正文;章节原有教材位置和书内顺序保持不变。

01

阶段 1

区分显式密度、隐式生成和潜变量模型的训练目标。

  1. 01
    A09 · 生成模型 · 第 1 章 · 第一编 似然与潜变量 · 难度 4

    自回归生成与序列似然

    自回归生成与序列似然:按变量顺序分解联合分布,计算教师强制下的精确似然,并比较采样顺序、暴露偏差和生成成本。

    未开始
    阅读本章
  2. 02
    A09 · 生成模型 · 第 2 章 · 第一编 似然与潜变量 · 难度 4

    变分自编码器与证据下界

    变分自编码器与证据下界:从边缘似然推导证据下界和重参数化梯度,解释重建项、KL 项、后验塌缩与潜空间插值。

    未开始
    阅读本章
02

阶段 2

解释 VAE、GAN 与归一化流各自的可计算量和限制。

  1. 03
    A01 · 线性模型与统计学习 · 第 2 章 · 第一编 回归与分类 · 难度 3

    Logistic 回归与概率分类

    本章研究Logistic 回归与概率分类。内容依次处理对数几率、Sigmoid 与概率分类、交叉熵似然与梯度计算、决策阈值、校准与线性边界限制。

    未开始
    阅读本章
  2. 04
    A09 · 生成模型 · 第 3 章 · 第二编 隐式与可逆生成 · 难度 4

    生成对抗网络与散度最小化

    生成对抗网络与散度最小化:把生成器和判别器写成极小极大博弈,分析散度、模式崩溃、梯度饱和与对抗训练评价。

    未开始
    阅读本章
03

阶段 3

从得分函数和 Markov 过程理解扩散模型。

  1. 05
    A09 · 生成模型 · 第 4 章 · 第二编 隐式与可逆生成 · 难度 4

    正规化流与可逆变换

    正规化流与可逆变换:用变量替换公式组合可逆映射和 Jacobian 行列式,在精确似然、采样效率与架构约束之间权衡。

    未开始
    阅读本章
  2. 06
    A09 · 生成模型 · 第 5 章 · 第三编 扩散模型与综合复习 · 难度 4

    得分匹配、扩散过程与反向采样

    得分匹配、扩散过程与反向采样:由逐步加噪过程构造去噪训练目标,连接噪声预测与得分匹配,并比较反向采样步数和误差。

    未开始
    阅读本章
  3. 07
    A09 · 生成模型 · 第 6 章 · 第三编 扩散模型与综合复习 · 难度 4

    生成质量、覆盖与生成模型综合复习

    生成质量、覆盖与生成模型综合复习:统一比较自回归、VAE、GAN、流和扩散的似然、样本质量、覆盖、推理代价与可验证边界。

    未开始
    阅读本章

路线检查点

完成指定教材章节后,用自己的推导回答;检查点不替代正文证明。

  1. 完成 A09 · 变分自编码器与证据下界

    说明潜变量边缘似然为何困难,以及 VAE 的证据下界如何处理它。

  2. 完成 A09 · 得分匹配、扩散过程与反向采样

    把前向加噪、得分学习和反向采样三个阶段连接为完整生成过程。

路线综合练习

先独立作答,再展开提示与分步解答;每题附可重复的结果核验。

练习完成进度0/2

难度 3/5

比较 VAE、GAN、Flow 和扩散模型的目标与采样

将四条特征与 VAE、GAN、归一化流、扩散模型一一配对:①优化变分下界;②生成器与判别器对抗;③可逆变换配合 Jacobian 行列式给出精确似然;④从噪声开始多步去噪。并指出哪一种通常可直接计算精确对数似然。

查看提示

分别寻找“变分”“对抗”“可逆变换”“逐步去噪”四个定义性关键词。

展开分步解答

①VAE,②GAN,③归一化流,④扩散模型。四者中,归一化流通过可逆映射和变量替换公式通常能直接计算精确对数似然;VAE 优化的是下界,GAN 不以显式似然为训练目标,常见扩散实现使用多步生成。

结果核验逐项核对训练所需量:VAE 含编码分布与 KL 项,GAN 含生成器/判别器两方目标,Flow 需要可逆 Jacobian,扩散采样按时间步反演;四个线索没有重复归属。

难度 4/5

从一维分布推导得分并设计去噪步骤

目标密度为 N(0,4)。推导得分 s(x)=d log p(x)/dx,计算 s(2),并用简化更新 x₊=x+εs(x)、ε=0.4 做一步去噪。判断这一步是否朝高密度区域移动。

查看提示

忽略与 x 无关的常数,log p(x)=-x²/(2σ²)+常数,且 σ²=4。

展开分步解答

log p(x)=-x²/8+常数,所以 s(x)=-x/4。s(2)=-0.5,更新得到 x₊=2+0.4×(-0.5)=1.8。由于均值为 0,这一步减小了 |x|,向更高密度区域移动。

结果核验更新前 x²=4,更新后 x²=3.24;在 log p(x)=-x²/8+常数中,负二次项由 -0.5 增至 -0.405,因此对数密度确实增加 0.095。