语义分割、实例分割与密集预测

三种分割任务回答不同问题

语义分割为每个像素分配一个语义类别，同类的多个对象不区分身份。实例分割输出可变数量的对象，每个对象有类别、实例标识和掩码；同类相邻对象也要分开，常在检测候选基础上预测掩码。全景分割要求每个有效像素同时有语义类别，并对可数“物体”类别赋实例编号；天空、道路等不可数“材质”类别只需语义区域。

任务合同还要规定重叠和遮挡。语义图通常每像素互斥；医学多结构可允许多标签重叠；实例掩码若重叠，最终可按分数、深度或标注规则解决；全景输出通常要求非重叠且覆盖全部非忽略像素。不同合同决定输出通道、损失和指标，不能只换数据集名称。

标签栅格和坐标先于模型

语义掩码通常为 $H\times W$ 的整数类别索引，并有一个不参与损失与指标的 ignore 值。类别编号映射必须冻结；调色板颜色只是显示，不应当作类别本身。多标签任务则用 $H\times W\times K$ 的二元目标，每通道可独立为一。

多边形标注栅格化时涉及像素中心、边界包含和重叠优先级。图像缩放可用双线性插值，类别索引掩码必须用最近邻，否则会产生不存在的中间类别。模型 logits 上采样可连续插值，因为它们是实值场；得到离散类别后再连续插值则错误。

裁剪、翻转、旋转和弹性变换必须同步作用于图像与掩码。旋转后新空白区域是 ignore、背景还是有效类别要规定。随机裁剪若常把小前景裁掉，训练分布会比真实分布更背景化。

像素交叉熵适合互斥类别

对每个有效像素 $i$ 的类别 $y_i$ 和 logits $s_{ik}$，softmax 交叉熵为

其中 $V$ 排除 ignore 像素。互斥多类用 softmax；可重叠多标签应对每通道用二元概率损失，不能强迫通道和为一。类权重可提高稀有类贡献，但会改变概率目标和梯度尺度，权重需由训练统计与任务代价确定。

逐像素平均把大区域赋予更多权重，背景会主导。可采用类别平衡、困难像素、前景采样或与区域损失组合，但不能在每张图完全没有某类时无定义。损失实现要明确按像素、图像还是批次归约，最后一批尺寸不同不应意外改变权重。

Dice 与 IoU 直接关注区域重叠

对二元软预测 $p_i\in[0,1]$ 和目标 $y_i\in\{0,1\}$，常见 soft Dice 为

软 IoU 可用交集 $\sum p_i y_i$ 除以 $\sum p_i+sum y_i-\sum p_i y_i$。它们让小前景相对获得更多权重，但批内还是逐图、逐类还是全类合并会给不同目标。空目标且空预测时，epsilon 可能使得分一；空目标却有预测时应惩罚，规则要明确。

离散混淆下，$\mathrm{IoU}=TP/(TP+FP+FN)$，Dice 为 $2TP/(2TP+FP+FN)$，二者满足 $D=2J/(1+J)$。像素准确率还包括大量真背景，前景极小时可很高而前景 IoU 为零。

训练 Dice 是连续概率目标，评估 Dice 常在固定阈值或 argmax 后的离散掩码上计算，两者不能直接等同。组合交叉熵与 Dice 时要记录权重和每项原始尺度。

编码器压缩语义，解码器恢复空间

编码器通过步幅卷积或池化降低分辨率、增加通道和感受野，得到语义强但空间粗的特征。解码器逐级上采样并融合高分辨率信息，最终输出与目标栅格对齐的 logits。若总输出步幅为十六，一个编码特征单元对应输入约十六像素间隔，小结构可能在进入解码器前已经丢失。

下采样换取上下文和计算效率，却损伤边界。空洞卷积可扩大感受野而不继续降采样，但稀疏采样可能有网格效应；多尺度上下文可帮助大物体，却增加内存。不存在对所有目标尺寸最优的固定输出步幅。

上采样方法有不同伪影与参数

最近邻或双线性插值没有可训练核，随后卷积负责细化；转置卷积可学习上采样，但核大小与步幅覆盖不均时可能产生棋盘伪影；反池化可使用编码阶段最大值位置，却只保留局部选择索引。像素重排等方法把通道转换为空间，也要求通道数与放大倍数匹配。

插值参数包括角点对齐、半像素中心和边界模式。训练时 logits 与标签若用一种坐标规则，部署换另一实现，边界会系统偏移。小张量上检查已知角点和尺寸，比只看输出形状更可靠。

跳连融合定位细节与深层语义

编码器浅层保留边缘与纹理，深层具有更大上下文。跳连把同尺度编码特征与解码特征拼接或相加，帮助恢复细边界。拼接增加通道和内存，后续卷积学习融合；相加要求通道一致并直接叠加。

跳连两侧的像素中心、填充和裁剪必须对应。只按数组左上角硬拼可能错一像素。浅层噪声也会绕过瓶颈，导致纹理伪检；融合前可投影、归一化或门控，但应由验证和边界分组判断，而不是假设更多跳连总更好。

边界质量需要单独评估

区域 IoU 对大对象少量边界偏移不敏感，对小对象却非常敏感。边界指标可提取预测和真实轮廓，在规定像素或物理距离容差内计算边界精确率与召回率。容差必须随图像分辨率或真实单位说明，否则不同尺寸数据不可比较。

边界损失可基于距离变换、轮廓或拓扑，但目标可能不可微或对标注噪声敏感。医学或地图任务若重视连通性，仅用区域重叠可能产生断裂结构，需要任务特定结构指标。

类别不平衡发生在像素、图像和实例三层

背景像素多、稀有类只出现在少数图像、小实例像素更少。类权重可平衡像素损失，前景裁剪可增加含目标批次，Dice 可提高相对区域贡献；但只采含前景图会改变存在概率，部署校准需要恢复真实分布。极端权重还会增加假阳性。

按类、尺寸、图像是否含该类分别报告指标。某类缺席的图像上预测出该类是重要假阳性，不能在计算 Dice 时全部跳过。宏平均要定义缺席类，频率加权平均会再次让常见类主导。

实例与全景还需要对象级匹配

实例分割评估通常按掩码 IoU 把有分数的预测实例与未匹配真实实例配对，再构造 precision–recall；重复实例是假阳性，漏掉实例是假阴性。语义像素 IoU 无法惩罚把两个相邻对象合并成一个实例，只要类别区域相同。

全景评估还要同时考虑段的识别和分割质量，并处理材质类与物体类。模型可由检测分支产生物体实例、语义分支产生材质区域，再按冲突规则合并；规则会影响最终覆盖，必须冻结并纳入评估。

标注与分辨率限制模型结论

多边形顶点稀疏、画笔宽度、遮挡约定和标注者分歧都会形成边界噪声。应叠加审阅随机样本，量化重复标注的一致性，并明确预测是可见区域、完整推断区域还是病理不确定区。ignore 不是背景，未知区域也不能默认为负类。

缩小输入可能让小目标完全落入一个像素，任何解码器都无法恢复未采样细节；放大低分辨率图像只插值已有信息。部署传感器、压缩和裁剪若改变，应在相同分辨率链上独立验证。不得把视觉上平滑的上采样轮廓当成新增证据。

练习

关系与资源

• 卷积网络架构与残差连接 提供编码器与多尺度骨干。
• 目标检测与多尺度特征 支持实例候选、匹配和对象级评估。
• 分类、回归指标与基线 连接混淆、阈值和分组报告。
• 离散卷积、感受野与参数共享 解释输出步幅和采样限制。
• 正则化、数据增强与早停 约束图像与掩码同步变换。
• 几何、数据偏差与计算机视觉综合复习 汇总密集预测的部署边界。