表示学习综合复习：目标、迁移与失效

从下游信息反推预训练信号

表示学习方案不能先按流行模型命名。先写出下游需要的最小信息：预测单位是整图、标记、实例还是跨模态关系；哪些变化应被忽略，哪些坐标应等变；部署中是否有文本、成对数据或只剩单一模态；标签量和计算预算是多少。然后检查可用数据能否产生与这些需求一致的监督。

重构要求表示支持恢复输入，容易保留低层细节；条件预测要求从上下文预测目标，强调可预测结构；对比目标由正负关系塑造几何；掩码预测把条件预测限制在被遮蔽部分；跨模态目标用成对模态建立共同空间。这些不是互斥目录，而是对“输入哪些信息、预测什么、与谁比较、怎样归约”的不同回答。

重构和预测的区别在条件集

完整自编码重构以表示恢复整个输入。若像素、频谱或标记误差按元素平均，面积大、频率高或容易预测的部分会占主导。高容量解码器也可能根据数据先验补全，而不是证明表示精确保存目标因素。应检查按区域、通道和对象尺寸分组的误差，并比较冻结下游任务。

条件预测写成 $p(t\mid c)$：$c$ 是可见上下文，$t$ 是目标。未来预测、上下文预测和跨模态生成都属于这一结构。掩码预测通过选择掩码集合 $M$，只对 $x_M$ 或其特征计算损失：

掩码比例过低时，模型可能靠局部复制；过高时，目标可能主要由数据先验猜测。离散标记交叉熵与连续特征回归保留的信息不同。若目标标记、未掩码副本或文件元数据泄漏给解码器，低损失不表示学到上下文。

对比目标的核心是关系集合

对比学习把同一样本增强视图、同一实体或成对模态设为正关系，把其他候选设为负关系。归一化相似度、温度和批内 softmax 决定优化尺度，但真正的监督来自配对。假负例会推开应相近样本；错误正对会强迫模型忽略任务信息。

数据增强因此不是通用正则项清单。每个变换都应回答：下游标签是否保持；空间输出是否同步变化；对象是否仍可见；两视图共享的是否只剩背景。可保存增强参数和可视化样本，并用前景保持、背景替换、变换预测等反事实检查。

负样本策略也要匹配任务。实例检索中同类不同实例可能是真负例，类别检索中却可能是假负例。大批量和队列提供更多候选，同时增加通信、旧表示和重复项风险。无显式负例的方法也不是自动安全：若目标分支、方差约束或停止梯度实现错误，仍可能坍塌。

跨模态目标增加监督，也引入配对偏差

图文双塔把图像和文字映到共同空间，用对称对比损失支持双向检索。它可以利用自然语言类别描述进行零样本映射，但文字可能只描述背景、页面主题或常见对象。语言、地区、职业与群体频率不均会进入共同空间。相似度是训练关系下的分数，不是语义真值、事实判断或因果证据。

跨模态交叉注意力提供细粒度交互，计算上却需对每个候选对联合编码；双塔可离线索引，适合大图库召回。实践可用双塔召回、交互模型重排，但评价要包含两阶段延迟、图库更新和错误传播。模态在部署时缺失，意味着依赖联合输入的头可能不可用，应提前指定单塔退化策略。

表示坍塌需要多种证据

完全坍塌把所有输入映为常量；维度坍塌只使用少数方向；各向异性则让大量表示集中在狭窄锥体，随机样本间也有较高相似度。三者会影响最近邻、阈值和数值稳定性，但不能只靠二维投影图判断。

对归一化正对 $(u_i,u_i^+)$，可用平均平方距离描述对齐：

随机样本对距离的分布描述空间是否展开；也可检查逐维方差、协方差特征值、有效秩、平均非对角余弦和最近邻组成。对齐越小不总是越好，因为常量表示有完美对齐；空间越均匀也不保证保留任务类别。诊断必须与下游任务结合。

中心化、白化或去除主方向可能改善某些检索几何，也可能删除任务信号。任何后处理参数只能在训练数据拟合，并作为模型版本的一部分；不能在测试集观察效果后反复选择。

目标成本要按完整训练路径核算

重构和掩码预测通常需要解码器；即使解码器预训练后丢弃，它仍影响训练显存和时间。掩码编码若真正只处理可见单位，可降低编码器成本；若先完整编码再在损失处屏蔽，计算并未相应减少。序列全局注意力还随可见长度近二次变化。

对比学习常需多视图前向和 $B\times B$ 相似度矩阵。跨设备负例需要通信，队列需要存储并处理旧表示。双塔跨模态训练有两个编码器，但部署检索可预先计算图库向量；交叉注意力重排则按查询候选数重复计算。

计算预算应区分预训练一次成本、每次微调成本和部署每查询成本。若模型需频繁重编码动态图库，离线优势会减弱。碳排或能源结论还需硬件功耗与利用率测量，不能从浮点运算量直接推断。

一个评价数字不能代表表示质量

线性探测冻结编码器，只训练仿射头，测试目标是否线性可读；冻结非线性头测试更复杂可读性；全量微调同时评价初始化和适应能力。最近邻与检索检查局部几何；聚类检查无监督分组但受簇数和对齐算法影响；跨模态零样本分类还包含提示与类别名称映射。

公平比较需固定数据划分、输入预处理、读出器容量、优化预算和超参数选择集。随机编码器、原始特征、监督训练和多数类等基线提供尺度。预训练数据若含下游测试近重复，所有迁移结论都先受污染检查约束。

检索 Recall@k 要说明查询、图库、相关项和自身排除；阈值验证要另做校准。线性探测高不表示最近邻好，检索高不表示概率可信，全量微调高也不证明冻结表示已有同样信息。多项评价不是为了做排行榜，而是定位表示在哪种读出条件下有用。

分布偏移是预训练目标的一部分

预训练和部署可能在设备、语言、背景、时间、类别频率和模态可用性上不同。增强只能模拟已定义变化，不能保证覆盖所有偏移。应按真实来源实体分组划分，并建立背景替换、图像退化、文本改写、语言切换、模态缺失和新类别切片。

若模型在随机划分表现稳定、在新设备失败，先检查它是否编码设备特征；若图文检索在常见语言好、低资源语言差，检查分词、配对数和说明质量；若微调修复总体结果但少数切片继续失败，不能用平均数宣布迁移完成。失败样本要保留来源和增强参数，才能回溯数据与目标。

综合案例：为商品检索选择预训练方案

一个商品目录有多视角图片和卖家短说明，精细类别标签只覆盖少数商品。部署需要用户照片检索同款，并支持文字搜图；用户照片背景与目录棚拍差异明显。逐像素重构可保留纹理，但容易把大背景和成像细节作为主要误差；纯图像掩码预测可学习局部结构，却不直接建立文字查询空间；单模态对比可用同商品多视角正对改善图像检索，但需要核对颜色与细节增强。

主候选可采用图文双塔对齐，并加入同商品多视角正对；对文字缺失商品，可使用合法的图像对比或掩码目标，而不伪造说明。颜色是检索属性，因此不使用强灰度不变性；随机裁剪需满足商品覆盖。重复商品、同义说明和未知关系通过多正例映射处理。

评价按商品实体划分，先做冻结图到图、文到图和图到文检索，再用少量标签做等预算线性探测与微调。分组报告颜色、细粒度类别、目录到用户照片、文字长度和语言；另测坍塌、各向异性、图库索引成本与查询延迟。若文字噪声导致双塔失败，可先改配对清洗或增加重排，而不是把相似度解释为错误的语义真值。这个选择来自输出和数据，不是因为跨模态模型名称更新。

练习

关系与资源

• 表示学习目标 定义任务信息、不变性、可辨识性与冻结评价。
• 度量学习 提供距离、挖掘和检索协议。
• 对比学习 连接增强视图、温度、负样本与坍塌。
• 掩码预测 连接条件目标、掩码策略和上下文泄漏。
• 跨模态预训练 连接双塔对齐、零样本映射和配对偏差。