序列损失、教师强制与解码

自回归似然来自概率链式法则

对目标序列 $y_{1:T}$ 和可选条件输入 $x$，联合条件概率可分解为

最大似然训练最小化负对数似然

这不是各位置相互独立：每项都条件于此前目标。循环模型通过隐藏状态压缩前缀，因果 Transformer 通过被遮挡的自注意力读取前缀。两者都必须阻止当前位置看到未来真实目标，否则训练损失会因标签泄漏而虚低。

特殊符号定义序列边界。BOS 作为第一个解码输入，EOS 是需要预测的结束目标；PAD 只用于批量对齐，不是普通语义词。词表、特殊符号 ID、分词器版本和是否在最大长度处强制 EOS 都会改变概率空间，必须与模型检查点绑定。

变长 batch 需要三类边界

同一 batch 中序列长度不同，通常把短序列补到共同长度。第一类是损失 mask：PAD 位置不进入分子和分母。第二类是状态或注意力 mask：RNN 已结束样本的状态应冻结或移除；注意力的 key padding mask 阻止有效位置读取 PAD，query 侧输出也需在后续层和损失中屏蔽。第三类是因果 mask：位置 $t$ 不能读取 $t$ 之后的目标。

只屏蔽最终损失不够。若 PAD 嵌入进入 RNN 状态，或注意力把 PAD 当键，真实位置的隐藏表示已经被污染；某些归一化还会把填充统计混入有效位置。PAD 嵌入设为零也不完全解决，因为偏置、位置编码和残差会产生非零状态。

token 平均损失为

它让长序列贡献更多 token。先对每序列求平均再对 batch 平均，则每条序列等权。两种目标不同，应根据采样单位选择并明确分母；分布式训练还要对全局有效 token 数正确归一化。

为减少无效计算，可按长度分桶或使用 packed sequence。分桶会改变 batch 组成和梯度噪声，排序后必须保持样本与标签对应，并在 epoch 间按规定随机化。空目标、只有 EOS 的序列和被最大长度截断但没有 EOS 的样本都要有显式政策。

Teacher forcing 与暴露偏差

teacher forcing 在训练第 $t$ 步输入真实 $y_{t-1}$，让所有位置可并行或稳定计算条件似然。推理时真实前缀未知，模型把自己前一步输出作为下一输入。一次错误会把后续带到训练中少见的前缀，后续误差可能累积，这种条件分布错配常称暴露偏差。

它不表示 teacher forcing 的似然目标错误：链式最大似然是清晰且一致的概率目标。问题在于有限数据、模型失配、近似解码和任务指标共同作用。scheduled sampling 逐渐用模型输出替代真实前缀，能增加错误前缀经验，却改变训练分布，并不普遍保持最大似然的一致性；替换概率、采样方式和梯度是否穿过离散选择都需明确。

序列级风险训练、数据噪声注入或对生成前缀微调也能缩小某些错配，但通常有高方差、偏差或计算代价。选择应由验证任务和失败类型支持，不能把“更像推理”当充分证明。

截断 BPTT 保留状态值但切断远程梯度

长 RNN 序列完整展开会占用与长度成正比的激活内存。截断 BPTT 把序列分成长度 $K$ 的片段：片段末状态数值传给下一片段，但在边界 detach，使后续损失不再对更早计算图求导。模型仍可用旧状态做预测，参数却只接收窗口内的直接梯度。

若训练样本是独立文档，文档边界必须重置状态；流式实体可跨片段携带，但 batch 中实体换位时要按 ID 重排状态。片段长度、是否重叠、损失在哪些步计算和何时更新参数都会改变有效目标。随机打乱片段却保留旧状态会把不相邻内容错误连接。

梯度裁剪常与 BPTT 配合。全局范数阈值 $\tau$ 的裁剪为

在混合精度中应先反缩放，再检测非有限值并裁剪；梯度累积时通常在所有微批累积完成后裁剪全局梯度。逐值截断会改变方向，与全局范数裁剪不同。

解码是在模型分布上做搜索或采样

贪心解码每步选当前最高概率 token，成本低但局部最佳不保证整序列概率最高。束搜索保留若干累计对数概率最高前缀，扩大搜索但仍是近似；束宽、长度惩罚、EOS 处理、重复约束和平局规则都会改变输出。因为对数概率通常随长度累加为负，未经处理的比较可能偏好短序列。

随机采样按模型分布抽 token，可用温度改变 logits 尖锐度，top-k 限制候选数量，nucleus sampling 保留累计概率达到阈值的最小候选集。它们改变生成分布，适合多样性需求，却不保证事实性或任务正确。可复现实验需保存随机种子、采样器状态和精确解码参数；并行请求与非确定算子仍可能改变序列。

训练目标、解码与评估并不一致

最大似然优化真实前缀下的 token 对数概率；束搜索近似最大化模型序列分数；用户任务可能关心精确匹配、编辑距离、可执行成功、语义质量或人工偏好。三者不同，训练 NLL 下降不保证选定解码器的任务指标同步改善。解码参数应在验证集选择，测试集只做最终评估。

平均 token NLL 的指数称为 perplexity：

它依赖分词器、词表、是否含 EOS 和损失分母，跨不同 tokenization 直接比较没有统一含义。序列指标还应按长度、语言、实体或难度分组，报告空输出、截断、重复和非法格式；只有一个平均分会隐藏解码失败模式。

参考答案可能不唯一，字符串重叠指标会低估合法改写，也可能奖励表面复制。任务若有确定执行器、约束检查或人工协议，应把它们与似然指标并列，而不是事后挑对模型有利的单一指标。

可复现实验需要保存整个序列契约

运行记录至少包含数据版本、分词器与规范化、词表和特殊 ID、最大长度、截断与 EOS 政策、分桶方式、batch 内有效 token 数、shuffle 种子、teacher forcing 或替换计划、BPTT 长度、状态重置、裁剪位置、优化器与调度器状态。注意力模型还要记录 causal 与 padding mask 的具体布尔语义。

评估需固定检查点选择规则、解码策略、束宽、温度、top-k 或 nucleus 阈值、长度惩罚、最大生成长度、停止和平局规则。恢复训练要保存随机源、数据游标、循环状态是否跨 batch、优化器和混合精度状态。只保存最终权重无法重建序列顺序与生成分布。

常见误区

练习：从移位到评估契约

知识连接与资源

• 循环网络、门控单元与状态传播 提供递推状态与 BPTT 基础。
• 条件概率 支持自回归链式分解。
• 损失函数 区分 token 对数损失与任务指标。
• 注意力机制 使用 causal 和 padding mask 训练并行序列表示。
• 编码器、解码器与 Transformer 架构 组织因果自注意力和缓存生成。
• 长序列、效率与 Transformer 综合复习 审查训练解码错配和长上下文成本。

《Deep Learning》作者在线教材可用于核对序列建模、teacher forcing、BPTT 和生成训练基础。

《Attention Is All You Need》原论文可用于核对因果掩码的并行自回归训练与 Transformer 序列条件化边界；本章不把其架构实验结论直接外推到所有序列任务。