视觉 Transformer 与混合架构

从二维网格到标记序列

视觉 Transformer 的第一步不是“对像素直接做语言模型”，而是把图像转换成长度可控、语义明确的标记序列。设一批图像张量为 $X\in\mathbb{R}^{B\times H\times W\times C}$，非重叠块高宽为 $P_h,P_w$。当两个空间尺寸都能整除块尺寸时，块网格为

每个块展平为长度 $P_hP_wC$ 的向量，再乘共享投影矩阵 $E\in\mathbb{R}^{(P_hP_wC)\times D}$，得到维数为 $D$ 的标记。工程上可用卷积核和步幅均等于块尺寸的卷积实现同一非重叠投影；这只是高效重排与共享线性映射，并不自动赋予后续层完整的卷积层级结构。

若 $H$ 或 $W$ 不能整除块尺寸，必须固定裁剪、补边或可变块规则。补边标记要配合有效性掩码，避免池化和注意力把人工边界当成真实内容。训练、验证和部署若采用不同补边方向，即使张量尺寸一致，也会改变对象相对位置。

线性嵌入保留什么

分块会把局部像素压入一个向量。投影矩阵可学习颜色、边缘和纹理组合，但块内的空间信息只有通过投影权重隐式保留；块与块之间的边界在这一刻已被离散化。块越大，序列越短、计算越省，却更容易把小目标、细线和锐利边界压缩到同一标记中。块越小，细节入口增多，但标记数按块面积的倒数增长。

位置编码恢复二维几何

不加入位置时，自注意力对标记排列是置换等变的：若以同一排列重排输入，输出也相应重排；再做对称池化后，模型无法仅凭机制区分“左上角有对象”和“右下角有对象”。因此需注入绝对、相对或条件式位置。视觉中最好保留行列结构，例如把行向量和列向量相加，或在注意力分数中加入由二维相对位移决定的偏置。

学习得到的绝对位置表通常绑定训练块网格。推理网格改变时可在二维上插值，但插值不是纯粹的文件格式转换：位置频率、长宽比和边界距离都可能改变，应当把插值规则写入模型版本并在目标分辨率验证。若只把二维表拉平成一维再插值，可能混淆行末到下一行开头的几何邻接。

多头自注意力让所有标记交换信息

对加入位置后的序列 $Z\in\mathbb{R}^{B\times L\times D}$，一层先计算

将通道拆成 $h$ 个头且 $d_h=D/h$，第 $j$ 个头为

$B_j$ 可表示位置偏置，$M$ 可屏蔽补边或不允许的连接。各头输出拼接后再做线性投影。多头不是把图像机械分成多个区域，而是允许不同子空间学习不同的相似性与聚合方式。编码块还含残差、归一化和逐标记前馈网络；注意力负责标记间混合，前馈网络负责通道内非线性变换。

注意力权重描述一次前向传播中的加权通道，不能自动等同于因果解释或像素重要性。残差、前馈层、多个头和后续层都会改变信息。若要解释预测，应结合遮挡、反事实、梯度或任务特定诊断，并检查方法本身的稳定性。

分类标记与池化是不同读出合同

分类任务常在序列前加入可学习的分类标记。它不对应任何图像块，而是通过多层注意力收集信息，最终向量送入分类头。另一方案是对有效块标记做平均池化。分类标记提供专门的信息汇聚位置；平均池化结构简单，却必须排除补边标记，并可能稀释只占少数块的小对象信号。

两者没有脱离数据与训练协议的固定胜负。应保持骨干、增强、训练预算和分类头容量可比，再检查总体指标、类别分组、校准和失败样本。对于检测、分割等密集任务，仅保留分类标记显然不够：需要保留块标记，将其重排为二维特征网格，并通过上采样、多尺度融合或任务解码器产生空间输出。

分辨率使全局注意力产生二次成本

标准全局注意力构造 $L\times L$ 分数矩阵，主要注意力计算近似为 $O(L^2D)$，分数或概率存储近似为 $O(hL^2)$。查询键值投影和前馈网络还有 $O(LD^2)$ 量级，故在短序列、大通道时，二次项未必是唯一瓶颈；在高分辨率和小块下，它会迅速占主导。

局部窗口把每个标记限制在含 $M$ 个标记的窗口内，单层注意力成本可近似为 $O(NMD)$，当 $M$ 固定时随图像面积近线性增长。代价是单层不能跨窗口直接通信，需要移位窗口、跨窗口层、下采样层级或少量全局标记逐步建立长程联系。窗口边界也是一种结构假设，不应把“更省”误写成“与全局注意力等价”。

数据规模、增强与归纳偏置

卷积将局部连接、权重共享和平移等变性直接写入网络；层级下采样又逐步扩大感受野。朴素视觉 Transformer 允许全局内容相关混合，但内置的局部性和多尺度结构较弱。较弱的先验可以提供更灵活的拟合空间，也意味着模型往往更依赖数据覆盖、预训练、正则化和增强。不存在脱离模型规模、任务、噪声与训练预算的统一“最低数据量”。

增强必须保持标签语义。分类中的随机裁剪若把目标完全裁掉，原标签可能失真；检测和分割还要同步变换框与掩码。混合图像类增强需要明确定义软标签或区域标签。训练增强不应悄悄进入验证集；测试时若使用多裁剪或集成，应计入延迟并与单次推理分开报告。位置插值、输入归一化与补边方式也属于可复现协议。

卷积与注意力的混合边界

混合架构常用卷积干或重叠投影先提取局部特征并降低空间尺寸，再在较粗网格上使用全局或窗口注意力。它保留局部纹理和多尺度入口，同时控制标记数。另一种做法是在注意力层之间加入深度卷积或相对位置偏置。是否采用混合设计，应由输出空间精度、对象尺度、延迟和显存共同决定，而不是由模型家族名称决定。

实际诊断可沿信息路径展开：先确认对象在输入中有多少像素，再检查分块或特征步幅是否过粗，随后检查注意力掩码、位置编码和多尺度融合，最后查看阈值、后处理与分布偏移。这样能区分“模型没看见细节”“表示看见但头部没输出”和“输出被后处理删除”。

练习

关系与资源

• 注意力机制 给出查询、键、值与缩放点积的基础。
• 多头注意力与位置编码 解释多头子空间和序列位置的通用形式。
• 卷积网络架构与残差连接 提供局部层级与混合骨干的比较基线。
• 离散卷积、感受野与参数共享 连接块投影、局部性和特征步幅。
• 语义分割、实例分割与密集预测 展示块标记如何进入空间解码器。
• 几何、数据偏差与计算机视觉综合复习 将模型选择放回任务、标注和评估合同。