表示学习目标、任务信息与不变性

表示是一个有用途的中间变量

设输入为 $x$，编码器为 $f_\theta$，表示为

$z$ 不是天然“有语义”的向量。只有给定下游变量 $y$、可用的读出器集合以及部署分布，才能说明它是否有用。例如，颜色分类需要保留颜色，形状分类可以把不影响形状的照明变化视为干扰；姿态估计则不能把旋转全部抹去。表示目标实质上在选择保留哪些变化、压缩哪些变化，以及允许读出器以多复杂的方式恢复任务信息。

完整合同应写出样本单位、编码器输入、表示位置与维数、预训练信号、允许的增强、下游任务、冻结或微调规则、训练和评估划分。若同一主体的近重复样本跨越划分，探测器可能评估记忆；若下游标签参与了预训练样本选择，所谓“无标签预训练”也可能存在泄漏。

不变性与等变性不能混写

对变换 $T$，不变表示希望

即变换前后读出相同。等变表示则希望存在已知作用 $\rho(T)$，使

分类常需要对小幅裁剪、成像噪声等变化近似不变；检测、分割和姿态任务需要空间坐标随几何变换同步改变。把任务相关变化错误地当成增强，会让目标强迫编码器删除所需信息。

重构目标保留输入，未必保留任务

编码器与解码器 $g_\phi$ 可最小化

重构迫使表示支持恢复输入，但像素误差会强调占面积大的背景和低层细节。高容量解码器还可能补出统计上常见的内容，使较低重构损失不等同于表示包含每个真实因素。若输入有噪声，可重构干净目标或被遮蔽部分；这改变了条件预测问题，必须写清目标来自原样本、另一视图还是外部标签。

预测目标把表示用于估计上下文、未来、被遮蔽部分或另一模态，例如

$c$ 是可见上下文，$t$ 是待预测目标。目标若太容易，模型可能利用局部纹理、位置模板或数据格式；目标若含不可预测噪声，训练会把容量浪费在不确定细节。掩码位置、可见范围、目标离散化和解码器容量都属于目标定义，而不是实现附注。

对比目标定义谁应相近

对比目标把相关对拉近、无关对分开。正对可来自同一样本的两个增强视图、同一对象的不同时刻或成对模态；负对来自其他样本或明确不匹配项。相似度常用归一化向量的点积，温度调节分数差异在 softmax 中的尺度。这里最关键的不是公式名称，而是正负关系是否支持任务。

同一类别的两个不同实例若被当作负例，可能成为“假负例”；同一对象的两个视图若某个视图已裁掉关键目标，则正对也可能错误。表示接近只表示训练关系和模型度量下接近，不自动证明两个样本语义等价，更不证明一个因素导致另一个因素。

聚类、原型与多任务目标

聚类或原型方法为表示分配离散簇，再让样本靠近对应中心。它可以在无人工类别时形成可压缩结构，但簇编号本身可置换，簇也可能按相机、长度或背景划分。若伪标签由当前表示产生，分配和更新应避免同一步自我确认，例如使用延迟目标、平衡约束或独立视图；这些机制仍不能保证簇等于人类语义。

多任务目标写成

不同项可互补，也可冲突。重构要求保留颜色，对颜色不变的对比项要求删除颜色；哪一项合理取决于下游任务。系数不能只按损失数值大小设定，应检查梯度、每项验证指标和任务切片。若一个头能通过元数据或样本索引完成目标，它还可能绕开共享表示。

信息压缩只是设计语言的起点

表示常被描述为“保留任务信息、压缩无关信息”。信息瓶颈提供一种概念语言：一方面希望 $z$ 对目标有预测力，另一方面限制它机械记住全部输入。但有限数据中的互信息估计、确定性连续网络和解码器能力会使严格量化变得困难。本章只把它当作提问框架，不把某个代理损失直接称为已求得最优信息瓶颈。

容量限制也不是维数越小越好。低维表示可能删除下游需要的细节，高维表示也可因正则化和数据结构而有效简洁。应把维数、精度、随机噪声和瓶颈位置作为实验变量，用多个下游任务与泄漏检查判断。

可辨识性限制表示坐标的解释

若表示 $z$ 后接线性读出，任意可逆矩阵 $A$ 产生的新表示 $z'=Az$，只要读出权重改为相应逆变换，预测可以完全相同。因此单个坐标轴通常没有唯一含义；原型编号也可交换，潜在因素可旋转、缩放或混合。没有额外结构或干预，不能仅凭一个维度相关某属性就宣称它是该属性的唯一成因。

相似度同样依赖坐标尺度和归一化。两个样本在一个表示中接近，说明当前目标忽略了它们的某些差异，不代表差异不存在。解释应通过受控变换、跨数据复现、消融与下游可读出性共同支持。

坍塌不只是一条常量线

完全坍塌把所有输入映为同一向量；部分坍塌可能只使用少数维度，或在一个子群内全部相同。仅观察均值和总范数无法发现。可检查逐维方差、协方差谱、随机样本对距离、原型占用、最近邻类别与跨视图距离，并与未训练编码器和简单基线比较。

冻结评价与微调评价边界

线性探测冻结编码器，只训练仿射读出器，测试信息是否以线性可访问方式存在。冻结的多层非线性头允许更复杂读出，不能再称为线性探测。全量微调则允许编码器重新组织表示，结果同时反映初始化、优化和下游数据，不能单独归因于预训练表示。

公平比较要冻结数据划分、输入处理、读出器、正则化、训练步数和超参数选择预算。探测器的超参数只在验证集选择，测试集不得反复调参。还应包括原始输入的简单模型、随机编码器、监督基线和常量或多数类基线。若预训练数据与下游测试样本重复，任何高分都需先处理污染。

冻结线性探测只覆盖特定任务和标签量。检索、少样本、鲁棒性、校准和分布外切片可能给出不同排序。表示质量不是一个脱离使用场景的单标量。

练习

关系与资源

• 神经网络与反向传播综合复习 提供编码器训练与梯度审计基础。
• 分类、回归指标与基线 约束冻结评价和简单基线。
• 熵、交叉熵与散度 支持预测分布和信息语言。
• 度量学习 将关系监督写为距离与间隔。
• 对比学习 展开增强视图、负样本和温度目标。
• 掩码预测 展开条件恢复式预训练。
• 跨模态预训练 展开成对模态的表示对齐。
• 表示学习综合复习 汇总目标、迁移和坍塌风险。