几何、数据偏差与计算机视觉综合复习

先定义输出，再讨论模型

视觉系统的第一问不是“用卷积还是 Transformer”，而是每个输入应输出什么。图像分类为整幅图给出一个或多个类别及置信度；目标检测输出可变长度的实例集合，每项含类别、分数和边界框；语义分割为每个像素给类别，但不区分同类个体；实例分割既区分对象又给出各自掩码。任务合同还要说明是否允许空结果、重叠区域如何处理、未知类别怎样表示、置信度供排序还是供概率决策。

同一骨干可以接不同头部，模型家族不能替代输出定义。若业务要计算每个缺陷的面积，仅有整图类别不够；若只需判断一张图是否合格，像素掩码可能增加不必要的标注成本。先写清预测单位，才能确定标注单位、损失、后处理和指标单位。

标注合同决定可学习目标

分类标签要规定多标签与互斥类别，检测要固定坐标原点、框边界和遮挡截断规则，分割要固定类别本体、忽略区域和边界约定。漏标对象若被直接当成背景，模型会同时收到“识别它”和“压低它”的矛盾信号。对模糊边界，可采用忽略带或记录多位标注者差异，但不能在评估时假装边界唯一且精确。

长尾数据不能只给总样本数。应列出每类图像数、实例数、像素数和来源组数，因为一张图可含多个实例，而大区域会贡献大量像素。划分时以患者、设备、场地、视频或采集批次等真实独立单位分组，避免相邻帧和同一对象的近重复图跨入训练与验证。

几何变换必须作用于全部空间标签

缩放、裁剪、翻转、旋转、透视和补边都改变坐标。图像、边界框、关键点、掩码和有效区域必须共享同一变换记录。类别掩码通常使用最近邻插值以免产生不存在的类别编号；连续图像可使用适合信号的插值。框应变换四角后重新求轴对齐外接框，并在裁剪后按可见比例规则保留、忽略或删除。

增强表达的是任务假设。水平翻转只有在标签语义对翻转不敏感时成立；任意旋转若改变“竖直”这一类别含义，就不是合法不变性。分类常追求对某些变换不变，检测和分割则要求输出随变换等变。训练和验证的增强管线要分离，且随机增强需记录种子或参数以便复现失败样本。

损失的分母同样是建模选择

分类常按图像平均交叉熵；检测组合类别、对象性和框回归，并通过匹配确定正例、负例和忽略候选；分割可用逐像素交叉熵、区域重叠损失或边界项。损失名称不说明样本权重，真正决定权重的是求和范围和分母：按所有像素平均、按前景像素平均、先按图像平均再按批量平均，会强调不同对象。

多任务损失的系数也不能只凭数值量级调整。框、类别和掩码项的梯度密度不同，某项数值小不表示它不重要。可检查各任务验证指标、梯度稳定性和失败样本，并冻结评估协议后再比较权重。

分辨率、感受野与空间步幅

输入分辨率决定对象进入网络时有多少像素。卷积网络的理论感受野由核、步幅和层数递推，实际响应往往更集中；视觉 Transformer 的块尺寸决定最初空间量化，窗口大小决定单层通信范围。检测与分割还依赖输出特征步幅：对象若小于一个粗特征单元，定位信息可能在下采样时丢失。

更大感受野并不自动意味着更好定位。分类需要上下文判断“是什么”，边界需要局部高频信息判断“在哪里”。多尺度卷积、跳接、特征金字塔、层级注意力和密集解码器都在平衡这两类信息。检查中应同时记录输入对象尺寸、各层步幅、预测头所在层和上采样规则。

计算预算不等于参数量

参数决定权重存储的一部分，却不能代表训练或推理峰值显存。高分辨率激活、残差缓存、特征金字塔、检测候选、掩码张量和全局注意力分数都可能占主要空间。训练还需梯度和优化器状态；混合精度降低部分存储，但归一化、主权重或累加可能保留更高精度。

浮点运算量也不等于端到端延迟。硬件并行度、内存访问、动态候选数、非极大值抑制、掩码还原、图像解码与数据传输都会影响部署。可靠比较要固定硬件、批量、输入形状、预热、精度、编译设置和统计分位数，同时记录峰值显存与从输入到最终输出的时间。

三种方案的综合比较

这个过程的顺序很重要：先用输出合同排除不合格方案，再用分辨率和信息路径判断可学习性，接着用预算排除不可部署配置，最后才用冻结的数据与指标比较剩余候选。模型名称只是候选特征之一。

指标必须匹配决策单位

分类可报告混淆矩阵、每类精确率召回率、宏平均和校准；类别不平衡时只给准确率会隐藏少数类。检测指标需声明类别、置信度排序、交并比阈值、尺寸分组和插值协议，重复框会成为假阳性。分割可报告每类交并比、Dice、像素准确率与边界指标；大背景可能让像素准确率虚高。

指标还要对应使用场景。若设备每分钟最多复核固定数量候选，可关心该容量下的召回；若置信度用于风险决策，需要校准曲线而非只看排序指标。阈值必须在验证集确定，测试集只做冻结协议下的最终估计。任何汇总值都应附样本数、类别或尺寸分组与不确定性来源。

分布偏移与捷径要主动制造反证

视觉模型容易利用背景、相机、压缩、边框和采集流程。随机按图像划分可能让同一拍摄会话同时出现在训练和验证，从而评估记忆而非泛化。应按设备、地点、主体或时间分组，并单独构建亮度、天气、遮挡、背景和类别频次变化的切片。

失败分析应保留可追踪样本清单，并按真类、预测类、对象尺寸、遮挡、模糊、设备、地点、置信度和标注争议分组。对检测可拆成漏检、重复、分类和定位错误；对分割可拆成小区域消失、边界偏移、对象粘连和孔洞。发现失败后先确认标签和坐标，再检查输入采样、表示、损失、阈值与后处理，避免直接更换更大模型。

从卷积到视觉 Transformer 的统一检查表

一个可审计方案至少回答九个问题：预测单位是什么；标签是否覆盖该单位；增强是否保持标签并同步坐标；损失按什么分母；最小对象在输入和特征层有多少像素或单元；卷积感受野或注意力窗口如何传递上下文；峰值显存和端到端延迟是否满足预算；指标是否与决策单位一致；验证划分能否代表部署偏移。

卷积提供强局部先验和层级效率，检测与分割把空间表示转成实例或像素输出，视觉 Transformer 提供内容相关的长程交互。综合设计不是把三者列成目录，而是沿数据到决策的信息路径逐段验证：每个变化都说明它解决哪一段瓶颈，并用相应分组指标和资源测量证伪。

练习

关系与资源

• 离散卷积、感受野与参数共享 解释采样、步幅和局部信息路径。
• 卷积网络架构与残差连接 提供层级骨干与多尺度基线。
• 目标检测与多尺度特征 连接实例集合、框匹配与定位评估。
• 语义分割、实例分割与密集预测 连接像素标签、实例掩码和边界。
• 视觉 Transformer 与混合架构 连接分块、位置、全局或窗口注意力及显存成本。