掩码预测：用缺失部分学习上下文表示

掩码预测是条件预测问题

设完整样本为 $x=(x_1,\ldots,x_L)$，掩码位置集合为 $M$，其余位置记为 $\bar M$。训练先从分布 $q(M\mid x)$ 抽取掩码，再用破坏算子 $C$ 得到可见输入

模型读取 $\widetilde{x}$ 和位置信息，预测被选中位置的原目标 $x_M$。一般目标可写为

这里的每一项都属于方法定义。$q$ 决定遮多少、遮哪些位置以及是否成段；$C$ 决定用特殊标记、随机内容、零向量还是直接删除；编码器决定可见范围；预测头决定输出空间；$\ell$ 决定哪些误差最重要。只说“随机遮住一些输入再恢复”不足以复现实验。

掩码目标制造了一个内部监督信号：目标取自样本本身，无需额外人工标签。它要求模型利用上下文统计规律，却不保证学到人类关心的语义。局部纹理、固定格式、位置频率、文件来源和近重复样本都可能让训练损失下降。判断表示是否有用，必须另做冻结评价、微调评价与泄漏检查。

双向上下文与因果预测不同

掩码位置可以同时读取左侧和右侧的未遮蔽内容。对序列中的位置 $i$，模型近似学习

而不是因果语言模型的 $p_\theta(x_i\mid x_{<i})$。右侧证据常能消除歧义，例如“他把书放在桌子上”和“他把书放在桌子下”中，待预测介词可由两侧共同约束。前提是原词元身份没有通过输入、标签对齐或预处理旁路泄漏给模型。

逐位置掩码条件分布通常不能直接相乘为一个规范化的序列联合概率，因为不同位置的条件都建立在其余真实位置可见的环境上。掩码编码器也不是天然的从左到右生成器。若要生成完整序列，需要指定迭代填充、吉布斯式更新或外接解码器；这些算法产生的分布与训练时一次掩码目标并不自动相同。

双向还不等于不受约束地看见所有信息。注意力矩阵可以在可见位置间双向连接，但被遮蔽目标本身必须从内容通道移除或扰动；用于 padding 的注意力掩码、用于禁止读取未来的因果掩码和用于选择预测目标的内容掩码是三种不同机制，不能只用一个布尔数组含糊表示。

BERT 原论文方案与一般方法的边界

以下是 BERT 原论文所描述的具体预训练事实，而不是所有掩码预测方法的共同规定：BERT 使用双向 Transformer 编码器；掩码语言模型先选择输入序列中百分之十五的词元位置作为预测目标；在这些被选位置中，百分之八十替换为 [MASK]，百分之十替换为随机词元，百分之十保持原词元不变；损失仍要求在全部被选位置预测原词元。原论文的预训练还包含下一句预测目标，这同样是该论文方案的一部分，不是掩码语言模型定义所必需的组件。

百分之十保持不变并不表示这些位置不计损失。模型能直接看到原词元，因此该分支可能较容易，但它让编码器在一部分受监督位置看到自然输入。随机替换也不能完全模拟真实下游分布，因为替换词可能明显不合语境。百分之八十、百分之十、百分之十只是 BERT 的设计选择；其他方法可以采用动态掩码、成段掩码、整词掩码、删除词元或不同掩码比例，比较时必须说明变化。

BERT 的资源卡支持上面的论文事实。它不能单独支持任何后续方法的结构、掩码率或性能，也不能证明某个新数据集会获得迁移收益。本章对图像块、连续目标、泄漏和评价的讨论属于一般方法分析，不把它们误写成 BERT 原论文结论。

离散词元目标使用条件分类

对词表 $\mathcal{V}$ 中的离散词元，预测头在每个被选位置给出 logit $a_{iv}$，softmax 概率为

交叉熵只取真实词元对应的负对数概率。大词表计算可使用分块或特定近似，但近似会改变目标，需单列说明。数值实现应采用 log-sum-exp，不能直接对大 logit 求指数。若多个序列长度不同，按目标词元平均会让被选位置多的序列权重更大；先逐序列平均再批次平均则让每条序列等权，两者不能混报。

词元化本身影响难度。一个词被拆成多个子词，只遮其中一个时，其余残片可能几乎暴露答案；高频词比稀有词更容易由先验猜中；标点和固定模板也可能提供捷径。整词掩码或成段掩码能减少局部残片泄漏，却让任务更难，并改变目标数量与上下文范围。评价时应同时报告词元频率、跨度长度和实体等切片，而不是只有总体损失。

连续图像块与特征目标

图像可先划分为图像块，再遮住其中一部分。连续目标的一种形式是预测原始像素或标准化像素，以均方误差训练：

还可以预测离散码本索引并使用交叉熵，或回归由教师编码器产生的连续特征。三者强调的信息不同。原始像素重构重视颜色和局部高频细节；标准化块改变亮度与对比度的权重；离散码本把误差转化为类别边界；教师特征的语义与偏差取决于教师。不能把它们都简写为“恢复图像”后直接比较损失数值。

连续目标还需写明每个块内按元素求和还是平均、不同通道如何缩放、目标是否停止梯度以及只在遮蔽块还是全部块计损失。若不同实验的像素范围分别为零到一与零到二百五十五，均方误差尺度相差巨大，训练权重和报告数字都不可直接比较。

掩码分布决定任务难度

独立位置掩码简单，却可能留下大量紧邻线索；连续跨度或图像块掩码要求更远上下文；固定比例可稳定每批目标数，伯努利采样则使目标数随机。动态掩码在不同轮次给同一样本产生不同目标，扩大监督覆盖；静态掩码便于缓存，但模型可能记住固定缺口。无论哪种方案，都要保存随机种子派生规则，使每个样本、轮次和工作进程的掩码可重建。

比例过低时任务容易且监督稀少，比例过高时上下文不足，目标包含大量不可预测细节。最合适的比例取决于输入冗余、编码器是否接收遮蔽位置、目标类型和下游任务。图像中相邻像素高度相关，通常需要考虑块大小与比例的联合作用；文本删除一个词元与删除一个实体跨度也不是相同难度。掩码率不能脱离块长、序列长和损失分母报告。

位置分布同样会形成捷径。若训练总遮中心块，模型可学习中心区域的类别先验；若文档模板每次遮固定字段，字段位置几乎直接决定答案。应把掩码位置热图、跨度长度分布和目标频率作为数据审计，并在未见掩码形状或位置上测试条件预测。

泄漏可能发生在模型之前

内容泄漏不只来自忘记替换目标词元。若先对完整图像做会混合相邻像素的插值，再划分重叠块，目标像素可能已经进入可见邻块；若教师特征在完整图像上计算且学生能直接读取同一特征旁路，预测目标也可能被复制。文本去重若在划分之后进行，训练集和测试集的近重复段落会使表示评价虚高。

可靠顺序要明确：先确定数据划分和去重组，再抽取预处理参数，再生成掩码，再构造只含允许信息的编码器输入，最后从隔离的原样本分支取得目标。输入张量与目标张量不应共享可被模型访问的未遮蔽通道。可设计反事实测试：打乱远处上下文、只保留局部窗口、替换位置编码、移除元数据，观察模型是否仍能异常准确地恢复目标。

预训练与下游使用存在分布偏移

预训练时模型频繁看到特殊 [MASK]，而多数下游任务输入中没有该符号，这形成输入分布偏移。BERT 的随机替换和保持原词元分支是其缓解设计的一部分，但不能说已经消除偏移。其他方案可删除掩码位置、使用可学习替代向量、只让解码器接收掩码标记，或让编码器仅处理可见块；这些结构改变计算量和信息流，需要分别评价。

全量微调在完整输入上更新编码器和任务头，可以适应新分布，但结果同时反映初始化与下游优化。冻结线性探测保持编码器不变，只训练仿射头，检验特定标签是否线性可读。冻结非线性头允许更复杂读出，不能称作线性探测。若下游数据很少，还应报告不同标签量曲线和多次随机划分，而不是选择最好一次。

重构准确率或预训练损失不是表示质量的充分证据。一个强解码器可能用局部统计恢复像素，却让全局表示缺乏类别信息；另一个模型重构细节一般，但冻结表示更适合下游分类。应预先指定读取层、池化方式、标准化、读出器、训练预算和超参数选择数据，并加入随机编码器、频率猜测、局部窗口和简单重构基线。

评价协议与复现清单

数据污染检查要先于指标。按文档、主体、视频、患者或来源组划分，使用内容哈希与近重复搜索防止同一对象跨集合。若允许使用无标签测试分布做预训练，那属于传导式设定，应明确标注，不能与完全隔离测试集的结果混为一谈。词表或图像标准化统计也只能从协议允许的数据估计。

预训练记录包括数据与词元器版本、块划分、掩码分布、动态或静态策略、随机种子派生、破坏类型及比例、可见注意力范围、目标变换、损失分母、编码器和预测头结构、优化器、精度模式与停止条件。分布式训练还要说明不同进程是否会为同一样本生成相同掩码，恢复训练时随机状态是否连续。

评价至少分开报告掩码损失、按频率与跨度切片的条件预测、冻结线性探测、全量微调和分布外切片。若目标是图像表示，可补充局部与全局任务；若目标是文本表示，可补充句级与词元级任务。任何测试超参数都应在验证集冻结后一次性应用。保存失败样本的原输入、掩码位置、可见内容、目标、预测分布与处理版本，才能区分语义困难、不可预测噪声和实现泄漏。

三个常见误区

第一，“用了双向注意力，就一定学会了双向语义”。模型可能只靠相邻残片、位置模板或重复内容；双向连接提供能力，不保证采用了远程证据。

第二，“重构误差低，表示就更适合所有下游任务”。像素尺度、词元频率和解码器能力都会影响损失，重构细节与线性可读的任务信息并不等价。

第三，“BERT 的百分之十五和百分之八十、十、十是掩码预测的固定定义”。它们是原论文的具体选择；修改比例可以合理，但必须重新说明分布偏移、目标数量和评价条件。

练习

关系与资源

• Transformer 架构 提供双向编码器与注意力信息流基础。
• 条件概率 支持把缺失部分写成条件预测目标。
• 表示学习目标 说明自监督损失与下游信息并不等价。
• 跨模态预训练 扩展文本、图像与联合序列上的掩码目标。
• 表示学习综合复习 汇总迁移、污染与目标边界。