自回归生成：链式似然、因果训练与串行采样

用链式法则把联合分布拆成一步步预测

设观测由有序变量 $x=(x_1,\ldots,x_T)$ 组成。概率链式法则给出

其中 $x_{<1}$ 表示空前缀。这个等式不要求时间因果关系，只要求选定变量顺序。文本可按词元从左到右排列，图像可按行、列、通道或块排列，表格也可人为指定字段顺序。若每个真实条件分布都能精确表示，任何排列都描述同一联合分布；有限模型、有限数据和具体架构下，不同排列会提供不同可见上下文，因而形成不同归纳偏置。

自回归模型用参数化分布 $p_\theta(x_t\mid x_{<t})$ 近似每个因子。对数据集 $\mathcal D$ 最大化对数似然，等价于最小化

每一步的条件分布若都规范化，乘积就给出模型对完整样本的规范化概率或密度。这里“精确似然”指给定模型、数据表示和数值精度后，无需对隐藏变量作不可解积分；它不表示模型等于真实数据分布，也不表示浮点计算没有误差。

离散输出是条件分类分布

若 $x_t$ 是有限词表 $\mathcal V$ 中的离散符号，网络为每个候选输出 logit $a_{tv}$，再用 softmax 得到

单位置负对数似然就是对真实符号的交叉熵。训练实现应使用 log-softmax 或 log-sum-exp，避免直接指数运算溢出。词表、分词器、大小写处理、未知词、起止符和最大长度都会改变变量定义，所以不同分词方案的每词元损失或困惑度不能直接比较。若一个系统把同一句话拆成更多词元，它的平均条件任务已经不同。

图像通道的整数值也可离散建模。若像素原本是量化整数，模型应给每个取值概率，或对连续密度在对应量化区间积分。把某一点的密度值直接当成离散概率会混淆单位。对高基数离散变量，可以分层分解类别或使用混合分布，但每一层仍须归一化，才能保留完整似然解释。

连续输出需要明确密度族和尺度

若 $x_t$ 连续，一种简单条件模型是

其负对数密度除平方残差外还含 $\log\sigma$ 和常数项。只最小化平方误差相当于固定方差的特殊情形；若模型同时预测方差，扩大或缩小方差都会影响目标。为保证 $\sigma>0$，通常预测对数标准差或经正值变换的参数，并限制极端值以避免数值故障。

单个高斯对多峰条件分布表达不足。例如前缀对应“向左”或“向右”两种同样合理的轨迹时，条件均值可能落在两种模式之间。混合高斯、离散化 logistic 或其他规范化密度可以表示多峰，却增加参数和数值计算。密度值可大于一，且会随测量单位变化；评价连续似然时必须固定单位、量化或去量化方案。对离散像素先加连续噪声的去量化会形成不同训练目标，不能与原离散概率混称同一个精确似然。

教师强制是在真实前缀上计算似然

训练时，数据已提供完整序列，因此可以把真实前缀 $x_{<t}$ 作为每个位置的条件输入，这称为教师强制。以词元序列 $(x_1,x_2,x_3)$ 为例，模型输入可写成 $(\mathrm{BOS},x_1,x_2)$，目标为 $(x_1,x_2,x_3)$。每个位置只读取目标之前的输入，就恰好计算链式似然中的条件项。这不是额外标签泄漏，而是最大似然目标定义的条件化。

真正的泄漏发生在位置 $t$ 能读取当前目标 $x_t$ 或未来目标时。循环网络按状态更新天然形成前缀；掩码卷积限制感受野；Transformer 则用因果注意力掩码禁止查询位置访问未来键。标签移位和注意力掩码必须同时正确：只做掩码却把当前词元放在同一输入位置，仍可复制；只做移位却允许跨位置看未来，也会泄漏。

教师强制让不同位置的损失在一次前向中并行计算，因为所有真实前缀已知。它不意味着生成也能并行：采样时 $x_t$ 尚未出现，必须先取得前一个样本。填充位置应从注意力与损失中正确排除；按有效词元平均与先按序列平均会给长序列不同权重，需在协议中固定。

祖先采样必须按顺序执行

生成从空前缀开始。先采样 $x_1\sim p_\theta(x_1)$，再采样 $x_2\sim p_\theta(x_2\mid x_1)$，如此直到 EOS 或预定长度。这称为祖先采样。若每一步使用模型原始条件分布，所得完整样本服从模型定义的联合分布。生成 $T$ 个位置至少有 $T$ 个依赖阶段；缓存循环状态或 Transformer 的键值可以避免反复重算旧前缀，却不能消除下一步对上一样本的逻辑依赖。

温度把 logit 除以正数 $\tau$。低温使分布更尖，高温使其更平；贪心解码相当于每步取最大概率符号，并不是从模型采样，也不保证得到联合概率最大的完整序列。top-k 只保留概率最大的 $k$ 个候选，核采样保留累计概率达到阈值的最小候选集，再重新归一化。这些截断可能减少低概率异常，也会删去模型分布的尾部并改变覆盖。报告样本时应保存温度、阈值、随机种子、停止规则和最大长度。

暴露偏差来自训练与生成前缀不同

教师强制训练只在数据中的真实前缀上评价条件分布；生成时，模型会把自己先前采样的符号作为前缀。一旦早期输出偏离常见数据前缀，后续网络可能进入训练中很少见的状态，错误继续累积，这通常称为暴露偏差。它不是链式最大似然的代数错误，而是有限数据、有限模型与序列级使用方式之间的差距。

增加覆盖、改善条件模型、在受控噪声前缀上训练或采用序列级目标可能缓解问题，但都要说明改变了什么。把模型输出随机替换进训练前缀的 scheduled sampling 会改变条件输入分布；一般不再等价于原始数据的精确最大似然，还可能让训练目标依赖模型自身采样。不能只因生成更顺就声称似然模型更准确，应分别报告测试负对数似然和冻结采样协议下的任务指标。

重复退化可能由过尖分布、长上下文状态、训练重复模式或解码规则共同造成。简单加入重复惩罚会再次改变采样分布。诊断时保存首次出现循环的位置、当时的候选概率和前缀，比较原始采样、温度及截断方案，而不是把所有失败归因于同一个“暴露偏差”。

变量顺序是一种归纳偏置

考虑两个二值变量 $A,B$。若已知完整联合分布，既可写成 $p(A)p(B\mid A)$，也可写成 $p(B)p(A\mid B)$，两者数学上等价。但神经网络上下文长度、局部卷积方向和参数共享会使一种顺序更易学习。图像按光栅扫描时，右下像素能看左上，左上却看不到右下；随机排列可能破坏局部性；把通道分开排序也改变颜色依赖。

顺序还影响条件补全。固定左到右模型容易给定前缀续写，却不能一次直接条件于任意缺失区域；可以改排列、用多种顺序训练或借助专门条件推断，但必须重新定义概率计算。所谓“生成方向”也不是因果方向；从统计联合分布选择先生成 $A$ 不证明 $A$ 导致 $B$。

似然、样本与计算需要分开评价

测试负对数似然衡量模型给独立测试样本的概率。离散数据上可报告每变量交叉熵或按固定底数换算的 bits；文本困惑度只在同一词元化和同一计分位置下可比。连续数据要固定单位、量化与去量化。选择温度或 top-k 后生成的样本属于修改后的采样器，不能拿原模型似然替代它的分布说明。

高似然不自动等于样本对人有用，漂亮的少量样本也不能证明覆盖真实分布。应同时检查保留测试似然、重复率、模式覆盖、条件一致性、按长度与来源切片的失败，以及盲法人工或任务评价。人工评价要说明样本选择和随机化，不能只挑最好样本。训练集近重复若进入测试集，会同时美化似然与生成记忆，应先按实体和内容去重。

计算报告区分训练和采样。教师强制训练可并行处理位置，显存主要受序列长度和注意力结构影响；生成有串行步数，即使缓存减少每步成本，长输出延迟仍随位置累积。报告首步延迟、每步延迟、总吞吐、批量、缓存策略和停止长度，才能说明部署代价。

三个常见误区

第一，“链式法则要求变量具有真实时间因果顺序”。任何联合分布都可按任意排列分解；选择顺序提供统计条件化和架构偏置，不建立因果关系。

第二，“教师强制就是训练时泄漏答案”。真实前缀是似然条件，正确移位与因果掩码不会暴露当前目标；同位置复制或读取未来才是泄漏。

第三，“top-k 样本仍严格来自原模型”。候选截断与重新归一化定义了不同采样分布。它可改善特定观感，但会改变尾部概率和覆盖，必须记录参数。

练习

关系与资源

• 序列模型与 Transformer 综合复习 提供序列状态、移位训练和因果注意力基础。
• 条件概率 支持逐步条件化和祖先采样。
• 联合分布与条件分布 给出链式法则与边缘、条件关系。
• 生成模型综合复习 比较精确似然、采样成本和覆盖边界。