专题路线

生成模型入门

比较潜变量、重建、对抗、流、能量、得分和扩散等生成建模路线。

3 个阶段7 章预计 28 小时
学习进度0/7 章完成
0%
开始学习自回归生成与序列似然
先修内容

具有概率和神经网络基础,希望理解现代生成模型差异的学习者。

学习阶段

01

生成模型

2 章

区分显式密度、隐式生成和潜变量模型的训练目标。

  1. 01

    自回归生成与序列似然

    A09 · 1
    未开始
  2. 02

    变分自编码器与证据下界

    A09 · 2
    未开始
02

线性模型与统计学习

1 章

解释 VAE、GAN 与归一化流各自的可计算量和限制。

  1. 03

    Logistic 回归与概率分类

    A01 · 2
    未开始
03

生成模型

4 章

从得分函数和 Markov 过程理解扩散模型。

  1. 04

    生成对抗网络与散度最小化

    A09 · 3
    未开始
  2. 05

    正规化流与可逆变换

    A09 · 4
    未开始
  3. 06

    得分匹配、扩散过程与反向采样

    A09 · 5
    未开始
  4. 07

    生成质量、覆盖与生成模型综合复习

    A09 · 6
    未开始

阶段自测

  1. 学完 A09 · 变分自编码器与证据下界

    说明潜变量边缘似然为何困难,以及 VAE 的证据下界如何处理它。

  2. 学完 A09 · 得分匹配、扩散过程与反向采样

    把前向加噪、得分学习和反向采样三个阶段连接为完整生成过程。

综合练习

练习完成进度:0/2

难度 3/5

比较 VAE、GAN、Flow 和扩散模型的目标与采样

将四条特征与 VAE、GAN、归一化流、扩散模型一一配对:①优化变分下界;②生成器与判别器对抗;③可逆变换配合 Jacobian 行列式给出精确似然;④从噪声开始多步去噪。并指出哪一种通常可直接计算精确对数似然。

查看提示

分别寻找“变分”“对抗”“可逆变换”“逐步去噪”四个定义性关键词。

展开分步解答

①VAE,②GAN,③归一化流,④扩散模型。四者中,归一化流通过可逆映射和变量替换公式通常能直接计算精确对数似然;VAE 优化的是下界,GAN 不以显式似然为训练目标,常见扩散实现使用多步生成。

结果核验:逐项核对训练所需量:VAE 含编码分布与 KL 项,GAN 含生成器/判别器两方目标,Flow 需要可逆 Jacobian,扩散采样按时间步反演;四个线索没有重复归属。

难度 4/5

从一维分布推导得分并设计去噪步骤

目标密度为 N(0,4)。推导得分 s(x)=d log p(x)/dx,计算 s(2),并用简化更新 x₊=x+εs(x)、ε=0.4 做一步去噪。判断这一步是否朝高密度区域移动。

查看提示

忽略与 x 无关的常数,log p(x)=-x²/(2σ²)+常数,且 σ²=4。

展开分步解答

log p(x)=-x²/8+常数,所以 s(x)=-x/4。s(2)=-0.5,更新得到 x₊=2+0.4×(-0.5)=1.8。由于均值为 0,这一步减小了 |x|,向更高密度区域移动。

结果核验:更新前 x²=4,更新后 x²=3.24;在 log p(x)=-x²/8+常数中,负二次项由 -0.5 增至 -0.405,因此对数密度确实增加 0.095。

参考资料