归一化流

用双射搬运概率质量

设基随机变量 $Z\in\mathbb R^d$ 有可计算密度 $p_Z$，可逆可微映射 $f_\theta:\mathbb R^d\to\mathbb R^d$ 产生 $X=f_\theta(Z)$。给定数据 $x$，必须能求 $z=f_\theta^{-1}(x)$，并计算相应Jacobian行列式。变量替换公式为

若从正向 $x=f(z)$ 计算，则

负号来自体积扩张：同一概率质量铺到更大体积后，单位体积密度下降。绝对值不可省略，因为密度非负，而可逆映射可以翻转方向。流要求输入与输出同维；非方Jacobian没有通常的双射行列式公式。

一维时，长度小区间满足 $dx\approx f'(z)dz$，概率守恒 $p_X(x)dx\approx p_Z(z)dz$，所以 $p_X(x)=p_Z(z)/|f'(z)|$。多维行列式正是局部体积缩放的对应量。

基分布和映射方向都是模型定义

基分布常取各维独立标准正态，因为采样和对数密度简单；这不是变量替换公式的要求。换成逻辑斯蒂分布、混合分布或带条件参数的基分布，会改变模型的尾部、支持和似然。训练与采样必须使用同一基分布及同一标准化，不能训练时按标准正态算密度、部署时再从另一噪声分布取样。

文献和代码可能把 $f$ 定义为“数据到基变量”，也可能定义为“基变量到数据”。两种记法都成立，却让log-det符号和所谓正向、逆向交换。可靠账本应始终写出已知输入、输出和公式：若当前计算 $z=f(x)$，则 $\log p_X(x)=\log p_Z(z)+\log|\det J_f(x)|$；若当前计算 $x=g(z)$，则使用 $\log p_X(g(z))=\log p_Z(z)-\log|\det J_g(z)|$。

复合层把对数体积变化相加

实际模型把多个双射复合：$z_0\xrightarrow{f_1}z_1\xrightarrow{f_2}\cdots\xrightarrow{f_K}x$。链式法则给出

行列式乘法使总对数绝对行列式成为

这让每层只需报告自己的状态和log-det，避免形成整个高维Jacobian。若用一般稠密 $d\times d$ Jacobian，求行列式和求逆通常代价高；流层的核心设计目标就是让双射、逆和log-det都可计算。

对角、三角、正交和易分解的线性变换各有不同账本。对角层的log-det是各对角绝对值对数之和，但坐标间没有混合；三角层加入依赖而仍只需读对角；正交层体积绝对值为一，只旋转或反射；可逆稠密混合能一次连接全部坐标，却要用分解、参数化或缓存控制行列式成本。架构通常交替使用易缩放层与易混合层，而非期待一种层同时完成所有作用。

仿射coupling用保留分块换取易求逆

把输入分成 $x_a,x_b$，一层仿射coupling写成

因为 $y_a$ 原样保留，逆变换可显式写成

Jacobian是分块三角矩阵，对角块为单位阵和 $\operatorname{diag}(e^{s})$，所以

$s,t$ 网络本身无需可逆，因为求逆时它们的输入 $y_a=x_a$ 已知。单层不改变 $a$ 分块，表达力有限；多层之间必须交换、置换或可逆混合分块，让所有维度最终都能被变换。置换的行列式绝对值为一，不贡献log-det，但会改变后续依赖。

自回归流用三角依赖选择计算方向

一种三角变换可写成

第 $i$ 个输出只依赖当前和更早输入，Jacobian为下三角，对数行列式是所有 $s_i$ 之和。若 $x$ 已知，可用掩码网络并行计算全部条件参数和 $y$，适合密度求值；从给定 $y$ 反求 $x$ 时，$x_i$ 依赖刚恢复的 $x_{<i}$，通常要顺序采样。这类依赖方向常用于描述密度评估快、采样慢的自回归流。

反过来设计条件依赖，可让从基变量到数据的采样并行，而数据到基变量的密度路径更顺序。名称并不能替代方向账本：必须写明哪一个变量是已知、条件网络读取哪一侧，以及训练和部署究竟调用正向还是逆向。

coupling层把逐坐标顺序改成分块更新，两个方向都较易并行，但每层只变换部分坐标，常需更多层。自回归层每层能为每个坐标使用更细条件，却让一个方向带有长度为 $d$ 的依赖链。两者都以三角Jacobian换取线性时间log-det。

精确似然训练仍需数据合同

对连续训练样本 $x^{(n)}$，最大似然最小化

这里没有变分下界：在数学模型和数值计算正确时，得到的是模型对连续输入的精确密度。但“精确”修饰对当前流模型的似然计算，不表示模型是真实分布，也不表示优化达到全局最优。

图像token、类别和计数是离散变量，不能直接当作普通连续密度而忽略量化。常见做法先加入明确分布的去量化噪声，并在所定义的连续目标下训练；报告单位还要说明是自然对数、比特每维还是总负对数似然。不同去量化规则和预处理的密度值不可直接比较。

条件流仍要保持每个条件下可逆

若有标签或上下文 $c$，可以令变换和基密度依赖条件：$x=f_\theta(z;c)$、$p_Z(z\mid c)$。变量替换只对随机变量轴求Jacobian，条件被视为已给定，因而

对每个允许的 $c$，映射关于 $z$ 与 $x$ 仍须双射。条件网络本身不必可逆，因为求逆时同一个 $c$ 已知。若部署时条件缺失、含噪或来自另一个预测器，训练合同就已改变，应分别评价条件错误传播。把未来标签或数据切分信息放入条件会造成泄漏，精确似然并不能暴露这种语义错误。

条件采样时先固定 $c$，再从相应基分布取 $z$ 并走生成方向；条件密度评估则用同一 $c$ 走逆方向。若比较两个条件的密度，必须确认它们的基分布、预处理和单位一致，否则差异可能来自条件尺度而非样本适配。

可逆性同时带来表达限制

严格双射不允许两个潜变量映射到同一数据点，也不能改变维数。连续可逆映射及其连续逆保持拓扑连接性质：从具有全空间正密度的基分布出发，模型通常不能精确制造被零密度区域完全隔开的支持，只能用很低密度的狭窄桥近似。数据若集中在更低维流形上，普通同维连续密度还会遇到奇异分布问题，去量化或噪声模型改变的是建模对象。

易算log-det也限制层结构。仿射coupling每次只直接变换部分坐标，自回归流在一个方向必须顺序计算；为了提高表达力增加层数，会增加参数、激活、求逆误差和运行时间。宣称可逆层能节省激活内存时，还要计入重算、有限精度恢复误差和非可逆外围模块。

用双向资源账本比较架构

流模型有两条同等重要的执行路径。密度路径从数据出发，包含预处理、逐层求逆或正向变换、每层log-det和基密度；采样路径从基变量出发，包含随机数、反方向变换和后处理。应分别记录每样本延迟、批量吞吐、峰值内存和串行深度。只报告训练吞吐会隐藏自回归采样瓶颈，只报告一次采样又会隐藏大批量密度评价优势。

对 $K$ 层、$d$ 维coupling流，log-det通常随被缩放元素数近似线性增长，但条件网络的卷积或全连接成本可能占主导。自回归流即使log-det求和为 $O(d)$，顺序采样的墙钟时间也可能因 $d$ 次依赖调用而很高。复杂度阶数相同不表示硬件效率相同，还要检查内存访问、并行批量和编译实现。

架构增深前先做三项基线：单层仿射应复现解析正态变换；小维coupling应与显式Jacobian行列式一致；多层组合应在正逆两向恢复并保持log-det相消。通过这些不变量后，再根据留出似然与资源瓶颈决定增加混合、宽度或层数，才能把表达不足和实现错误分开。

数值核验与评价边界

每层至少检查 $f^{-1}(f(z))\approx z$、$f(f^{-1}(x))\approx x$、解析log-det与小维自动微分Jacobian一致，以及正向和逆向log-det互为相反数。尺度通常在对数域参数化，并对极端log-scale作有依据的限制；否则指数上溢、下溢或接近奇异会使似然和逆不稳定。

精确留出似然可比较同一预处理下的密度模型，但高似然未必对应更符合人类语义的样本，模型还可能偏好某些低层统计。评价应同时包含留出负对数似然、采样质量与覆盖、逆向重建误差、吞吐、峰值内存和异常输入行为。对域外检测尤其不能仅由“能算密度”推出可靠性。

练习

概念关系

• 潜变量模型 给出从潜空间产生观测的概率框架。
• Jacobian矩阵 描述局部线性化与多维链式法则。
• 行列式 提供有向体积缩放及乘法性质。
• 连续随机变量与密度 区分密度、概率质量和积分。
• 生成对抗学习 提供隐式采样但无精确密度的对照。
• 自回归生成模型 对照条件分解与顺序采样。
• 生成模型综合复习 比较似然、采样、覆盖与成本。

资源