跨模态预训练、图文对齐与零样本迁移

配对记录是跨模态监督的基本单位

跨模态数据把图像、文本、音频或其他信号通过某种来源关系配在一起。图文记录 $(x_i,c_i)$ 可能来自人工说明、页面邻近文本、文件元数据或用户行为。它只证明数据管线把两项关联，不自动证明文字完整描述图像，更不证明二者在所有语义上等价。

数据合同应说明一图多文、一文多图、重复文件、空文本、语言、时间、来源和许可；还要区分“明确不匹配”与“没有记录匹配”。网页批量中两条不同记录可能描述同一事件，把它们直接当负例会制造冲突。划分应按来源实体、事件或近重复簇分组，避免同一图像的裁剪版、压缩版或改写标题跨入训练与测试。

双塔编码器在共同空间比较

图像编码器 $f_\theta$ 和文本编码器 $g_\phi$ 通常结构不同，分别产生特征，再经投影头映到同一维数：

归一化后

相似度矩阵 $S=UV^\mathsf{T}$ 的形状为 $B_I\times B_T$。等量一一配对批次常有 $B_I=B_T=B$，对角线是指定正对。矩阵行表示固定图像比较所有文字，列表示固定文字比较所有图像。

两个塔不共享参数，因此不能把它们误称为同构孪生分支；共同的是输出坐标和对齐目标。归一化删除范数差异，使点积成为余弦相似度。若范数原本携带质量信息，可另设质量头，但不能一边归一化一边解释归一化前范数。

对称对比损失约束两个检索方向

设正确配对为对角线，温度 $\tau>0$，logit 为

图到文损失为

文到图损失为

常用对称目标是二者平均。两个方向候选归一化轴不同，即使正对相同，损失也可能不同。数值实现应对每行或每列减最大 logit，再用稳定的对数和指数运算。

温度改变竞争强度

较小 $\tau$ 会放大相似度差异，使 softmax 更尖锐，困难负例梯度更集中；较大 $\tau$ 使分布更平缓。温度可固定或学习，但需保持正值并记录参数化，例如令 $\tau=\exp(a)$。相似度有界不表示 logit 有界，因为除以很小温度可产生大数。

温度还与批量组成、表示维数和噪声相互作用。把某个训练得到的温度直接称为概率校准是不成立的：训练 softmax 的候选集合是当前批次，部署类别集合与先验可能不同。温度变化后要同时观察正对排名、负对分布、梯度和下游指标。

批内负例高效，但“非对角”不等于负

在一一配对批次中，其余 $B-1$ 项可作为每个锚点的候选负例，避免单独挖掘。批量越大，候选越多，但显存、跨设备通信和假负例概率也增加。若同一图有多条说明、同一事件有多张近似图，非对角项可能仍是正关系。

跨设备收集负例时，梯度是否跨设备传播、全局批量如何编号、重复项如何屏蔽都影响目标。缓存队列可扩大候选池，但旧表示来自较早编码器，且数据偏差会长期留在队列。报告“批量大小”时要区分每设备、梯度累积和实际参与分母的全局候选数。

对齐以外还有交互与生成目标

双塔先独立编码，再用一个点积比较，适合大规模离线索引和快速检索，却限制了细粒度跨模态交互。交叉注意力模型让图像区域和文字标记在多层中互相条件化，适合匹配复核、定位或问答，但每个图文候选对都需联合计算，检索成本较高。

生成或条件预测目标可让模型根据图像生成文字，或恢复被遮蔽的文字和视觉单位。它提供标记级信号，但会受标记化、教师强制、常见短语和解码器容量影响。一个系统可先用双塔召回少量候选，再用交互模型重排；若报告端到端延迟，必须包含两阶段。

重构、对比和生成目标可联合使用，但损失权重不能只按数值大小决定。应检查每项对检索、定位、生成和偏差切片的影响，并确认模型不能通过文件名、说明模板或位置标记绕过真实内容。

零样本分类是文本映射后的检索

给定类别集合 $\mathcal{C}$，为每类 $c$ 写提示模板 $p(c)$，由文本塔产生类别向量 $v_c$。图像向量 $u$ 与所有 $v_c$ 比较，选择相似度最高者。若每类有多个模板，可先分别归一化，再按明确规则平均并重新归一化。这个过程把分类标签映射成文本，不是无条件获得新类别知识。

类别名称可能过短、歧义、包含编号或与预训练语言不一致。提示模板注入上下文，也可能注入偏见。比较提示时应给每类相同选择预算，保存模板清单，并区分人工选模、验证集选模与集成。开放集场景中，最大相似度分类仍会选一个已知类；若需要拒识，应额外设未知协议和验证阈值。

所谓零样本只表示目标类别没有按规定进入监督微调，不代表预训练数据从未包含相关图文。数据规模大且来源复杂时，精确排除每个测试概念可能困难；结论应限定在评价协议，不把它写成“从未见过”。

配对噪声与社会偏差会进入共同空间

网页文字可能描述页面主题而非图像，可含讽刺、否定、旧标题或无障碍说明缺失。图像也可能裁剪掉文字提到的对象。可抽样标注配对精度、细分文字类型、检查图像对象覆盖，并对低可信来源降权或使用鲁棒目标。清洗过严又可能删除少数语言和罕见场景，应同时报告保留率。

来源频率会塑造共同空间：高资源语言、常见地区和流行对象有更多配对，职业、性别、地域等词可能与视觉背景形成刻板关联。按语言、地区、群体、图像质量和文本长度分组检查检索；构造只改变敏感属性或背景的成对反事实；检查错误邻居与说明词频。一个总体平均分不能证明各群体同样可靠。

图文相似度是模型在训练数据和目标下的关联分数。它不能作为语义真值、事实核验或因果证据。用于搜索、审核或辅助标注时，应保留来源、阈值、人工复核和错误申诉路径。

冻结、微调与部署评价

冻结双塔评价隔离预训练表示与任务适配，可测图到文和文到图检索、零样本类别映射与简单探测。微调允许改变共同空间，应防止小数据使一塔漂移或灾难性遗忘。只微调投影头、只微调一塔、参数高效适配和全量微调是不同协议。

评估至少包括：两个检索方向的 Recall@k 或排名指标；类别映射后的每类混淆与校准；来源与群体切片；模态缺失、空文字、长文字和图像退化；图库规模变化后的延迟与内存。近重复和同事件泄漏必须先处理，否则检索可能只找回压缩副本。

上线前还要决定向量版本、图库重编码、文本规范化、提示版本和回滚方式。编码器或投影变更后，新旧向量通常不应直接混用；温度和相似度分布也需重新测量。

练习

关系与资源

• 对比学习 提供归一化相似度、温度和批内候选基础。
• 掩码预测 提供跨模态条件恢复与生成目标的比较。
• 几何、数据偏差与计算机视觉综合复习 约束视觉输入、分辨率与偏差切片。
• 度量学习 连接共同空间、检索和阈值边界。
• 表示学习综合复习 汇总目标选择与迁移评价。