One Forth

A06 · 第 2 章 · 第一编 卷积表示

卷积网络架构与残差连接

把卷积、非线性、归一化、池化与步幅下采样组织成层级特征网络，推导残差和投影跳连，比较瓶颈、深度可分离卷积、全局池化及分辨率、通道、感受野和计算预算。

难度 4/5约 240 分钟最近修订 2026-07-14
报告页面错误
预备知识离散卷积、感受野与参数共享残差连接归一化方法与尺度控制

本章目标

  1. 按卷积、归一化、非线性和下采样的顺序分析卷积块及训练推理状态。
  2. 比较池化与步幅卷积的采样语义，并量化分辨率、通道和计算量权衡。
  3. 推导恒等残差与投影捷径的形状条件、梯度路径和失效边界。
  4. 计算瓶颈与深度可分离块的参数和乘加，理解因子化表达约束。
  5. 逐层计算网络形状、参数、理论感受野，并说明全局池化和多尺度输出。
页面阅读位置0% · 仅保存在此浏览器
章节未开始
本册完成进度0/6 章 · 0%
本页目录

架构把局部算子组织成层级表示

单层卷积只定义局部线性混合。卷积网络通过重复卷积、逐点非线性、归一化与下采样，让浅层保留高分辨率局部模式，深层以更多通道表示更大范围组合。架构设计的基本账本是每层输出形状、通道数、参数、乘加、激活内存、理论感受野和训练状态；只数层数无法比较真实成本。

常见块有卷积—归一化—激活，也有归一化—激活—卷积的预激活顺序。前者让归一化处理卷积输出，后者让残差分支末端更接近线性并给捷径更直接的梯度路径。顺序改变函数和初始化行为，不是可随意交换的排版。若归一化带仿射参数，卷积偏置常可省略；没有归一化或统计冻结方式不同则需重新判断。

用两个 3×33\times3、步幅一卷积替代一个 5×55\times5 卷积，在内部区域都有五像素理论覆盖。若输入输出通道均为 CC，前者权重约 18C218C^2，后者为 25C225C^2；前者还能插入两次非线性。代价是更深的顺序依赖与两组中间激活，不能只凭参数少断言延迟更低。

例 1：两层小核与一层大核的账本

设特征为 32×32×6432\times32\times64，保持通道与尺寸。一个 5×55\times5 卷积权重数为

25×642=102400.25\times64^2=102400.

两个 3×33\times3 卷积权重总数为

2×9×642=73728,2\times9\times64^2=73728,

约少百分之二十八。第一层感受野为 3，第二层增至 5；若层间有激活，组合可以表达两段分段非线性，而单个大核仍是一次线性空间混合后再激活。

但两层方案需要保存一个 32×32×6432\times32\times64 中间激活供反向传播，并发起两次算子。具体硬件上，大核或融合实现可能有不同吞吐，参数公式只能给结构成本，实际延迟要测量。

下采样建立层级，也会丢失信息

最大池化在窗口内取最大值，没有学习权重，强调局部响应是否存在；平均池化取均值，更接近低通但仍受窗口与步幅影响。步幅卷积同时学习滤波和抽样，可调整通道，却没有自动抗混叠保证。任何步幅大于一的路径都应检查高频内容、边界和一像素位移敏感性。

空间高宽各减半使激活面积降为四分之一。若随后把通道翻倍，一个同分辨率 C→CC\to C 的 3×33\times3 卷积主要乘加为 9HWC29HWC^2；在半分辨率做 2C→2C2C\to2C 卷积，乘加仍约为

9HW4(2C)2=9HWC2.9\frac{HW}{4}(2C)^2=9HWC^2.

因此“减半尺寸、翻倍通道”大致保持后续普通卷积计算量，却将激活元素减半。执行下采样的过渡层 C→2CC\to2C 约为原同分辨率卷积的一半计算。这个规则忽略内存、分组和硬件对齐，只是预算起点。

例 2：分辨率与通道交换的计算量

在 64×64×3264\times64\times32 上做一个 3×33\times3、32→3232\to32 卷积，主要乘加为

642×32×(9×32)=37,748,736.64^2\times32\times(9\times32)=37{,}748{,}736.

若先进入 32×32×6432\times32\times64，再做 3×33\times3、64→6464\to64 卷积，乘加同样是

322×64×(9×64)=37,748,736.32^2\times64\times(9\times64)=37{,}748{,}736.

后者每个位置通道更多、空间定位更粗。对分类可能合适，对小目标或像素边界则可能过早丢失信息。是否保留高分辨率分支应由任务、输入尺寸和延迟共同决定。

归一化属于块的状态契约

批归一化按批量及空间位置估计每通道统计，训练时使用当前批统计并更新运行统计，推理时使用冻结状态。小批量、非独立裁剪或多设备统计范围会改变噪声和推理偏差。层归一化或组归一化使用不同轴，通常不依赖跨样本运行均值，但对通道分组和张量布局敏感。

归一化的位置影响残差分支尺度，仿射参数和数值 epsilon 也是模型参数。训练模式与推理模式必须显式切换，检查点要保存运行统计。把归一化当成没有状态的“稳定层”会导致评估结果依批次组成变化。

残差连接提供直接路径

残差块写成

y=x+F(x;θ).y=x+F(x;\theta).

只有 xx 与 F(x)F(x) 形状一致才能逐元素相加。尺寸与通道不变时使用恒等捷径，不增加参数；下采样或改通道时可用带步幅的 1×11\times1 投影 P(x)P(x)，得到 y=P(x)+F(x)y=P(x)+F(x)。投影会增加参数和计算，也不再是无参数恒等映射。

对恒等块，反向梯度满足

∂L∂x=(I+JF(x))T∂L∂y.\frac{\partial L}{\partial x} =\left(I+J_F(x)\right)^\mathsf T \frac{\partial L}{\partial y}.

即使残差分支 Jacobian 暂时很小，仍有恒等项传递信息和梯度。这有助于优化深层网络，但不保证永不爆炸或消失；归一化、初始化、激活和许多块的 Jacobian 乘积仍会影响稳定性。

例 3：判断恒等捷径何时可用

输入为 56×56×6456\times56\times64，残差分支含两个保持形状的 3×33\times3 卷积，输出仍为 56×56×6456\times56\times64，可直接与输入相加。若第一个卷积步幅改为 2 且输出 128 通道，分支变成 28×28×12828\times28\times128，原输入不能相加。

可在捷径放置步幅 2 的 1×11\times1、64→12864\to128 投影，输出同为 28×28×12828\times28\times128，权重数 64×128=819264\times128=8192，不计可能的偏置与归一化。另一种无参数下采样加零通道填充会定义不同信息路径，不能和学习投影视为同一架构。

瓶颈与深度可分离块

瓶颈块常用 1×11\times1 卷积先降通道，在较窄空间做 3×33\times3，再用 1×11\times1 升回。输入输出均 256 通道、内部 64 通道时，不计偏置，三层权重为

256×64+9×642+64×256=69632.256\times64+9\times64^2+64\times256=69632.

一个直接 3×33\times3、256→256256\to256 卷积就有 589824589824 个权重。瓶颈节省主要来自昂贵空间卷积在窄通道上执行，但也限制中间秩；压缩过强会丢失表示能力。

深度可分离块先逐通道做空间卷积，再用 1×11\times1 混合通道。普通 K×KK\times K 卷积权重为 K2CinCoutK^2C_{\mathrm{in}}C_{\mathrm{out}}，因子化后为 K2Cin+CinCoutK^2C_{\mathrm{in}}+C_{\mathrm{in}}C_{\mathrm{out}}。它适合计算受限网络，但深度算子常受内存带宽限制，理论乘加下降与实际速度不一定一致。瓶颈和深度可分离都是结构假设，不是对任意训练好网络的无损压缩。

全局池化、多尺度输出与任务边界

分类头可把最后特征图在空间上做全局平均，每通道得到一个值，再接线性分类器。相比展平后全连接，它的参数不依赖最终高宽，并对空间位置做强聚合。代价是丢失明确布局；检测、分割和关键点任务需要保留或恢复空间信息，常把不同分辨率阶段输出交给多尺度头或解码器。

跨层跳连可以把浅层细节送到高分辨率预测端，但相加要求通道与坐标对齐，拼接会增加后续通道和内存。插值上采样、转置卷积和像素重排有不同采样伪影与参数；架构图上的箭头不能替代形状和坐标检查。

形状相同也不保证采样中心相同。奇数输入经过多次地板下采样后，左右有效填充可能不对称；双线性插值是否对齐角点会改变低分辨率像素映射回原图的位置。融合浅层与深层特征时，应从步幅、填充和插值约定递推每个网格中心，使用已定义的裁剪或填充对齐，并以脉冲输入或坐标标记检查。一个像素的系统偏移在图像分类中可能不明显，在分割边界和小目标定位中却会持续造成错误。

例 4：逐层计算形状、参数与感受野

输入 64×64×364\times64\times3。忽略归一化参数，每个卷积有偏置：

  1. stem：3×33\times3、步幅 1、填充 1、输出 16 通道，形状 64×64×1664\times64\times16，参数 3×3×3×16+16=4483\times3\times3\times16+16=448，(r,j)=(3,1)(r,j)=(3,1)；
  2. 残差分支：两个 3×33\times3、16→1616\to16、步幅 1 卷积，各有 23202320 参数，形状不变，捷径恒等；依次使感受野到 5、7；
  3. 下采样：3×33\times3、步幅 2、16→3216\to32，输出 32×32×3232\times32\times32，参数 46404640，感受野 9、跳距 2；
  4. 再做 3×33\times3、步幅 1、32→3232\to32，参数 92489248，感受野 13；
  5. 全局平均得到 32 维，再接十类线性层，参数 32×10+10=33032\times10+10=330。

总参数为

448+2×2320+4640+9248+330=19306.448+2\times2320+4640+9248+330=19306.

卷积与线性层主要乘加总数约为 34,799,93634{,}799{,}936。全局平均让分类向量聚合全部 32×3232\times32 位置，但池化前每个位置的理论输入感受野仍为 13×1313\times13；“输出用了全图”与“单个深层特征看见全图”不是同一陈述。

宽度、深度、分辨率与实测成本

通道翻倍使普通同分辨率卷积参数和乘加约增四倍；空间边长翻倍使激活与乘加约增四倍；增加深度近似线性增加层成本，却也延长顺序依赖。峰值内存还包含训练激活、梯度和优化器状态，不能从参数量单独推断。推理延迟受算子融合、批量、内存带宽和设备并行影响，应在目标硬件、目标输入和真实批量上测量。

架构选择应同时检查准确性以外的分组错误、位置与尺度鲁棒性、校准、吞吐、峰值内存和能耗。代表性结构思想可以复用，但不能借某个模型家族名称推断本实现具有相同训练配方或性能。分辨率和感受野也需匹配真实目标尺寸，而不是越大越好。

常见误区

常见误区

“网络更深就一定有更大有效感受野。”理论覆盖会增长，实际梯度敏感范围仍取决于权重、非线性和训练。

常见误区

“残差捷径让所有深网络都易训练。”它提供直接路径，但不能修复错误尺度、坏归一化或数值不稳。

常见误区

“参数少的架构一定更快。”内存访问、算子启动、并行度和激活尺寸都可能主导延迟。

练习：从块到完整账本

练习
所属知识
卷积块顺序
难度
3/5

比较后激活与预激活卷积块，说明为什么它们不能只按层清单视为相同。

查看提示
分别跟踪归一化处理的张量、激活位置和残差分支末端。
查看解答
卷积—归一化—激活与归一化—激活—卷积定义不同函数和梯度路径；后者可让捷径更接近恒等，前者更直接规范卷积输出。训练推理统计、偏置是否需要和初始化都随顺序改变。
练习
所属知识
下采样
难度
3/5

比较池化与步幅卷积，并说明任务如何影响下采样时机。

查看提示
把滤波、抽样、通道变化和任务空间精度分开。
查看解答
池化使用固定聚合，步幅卷积学习滤波并可改通道；两者都可能混叠和丢失细节。分类可较早降采样，密集小目标任务通常需保留高分辨率或多尺度路径，并在目标尺寸上验证。
练习
所属知识
残差形状
难度
3/5

给出恒等残差可用的条件，以及下采样残差块的捷径设计。

查看提示
相加要求高、宽、通道完全一致。
查看解答
形状相同时用恒等捷径；步幅或通道改变时可用相同步幅的 1×11\times 1 投影对齐。投影增加参数且改变信息，不能称无参数恒等；相加前还要核对坐标与填充对齐。
练习
所属知识
瓶颈成本
难度
4/5

推导 C→B→B→CC\to B\to B\to C 瓶颈块的权重数，并解释压缩边界。

查看提示
分别计算两个 1×11\times 1 与中间 3×33\times 3 的通道乘积。
查看解答
C→B→B→CC\to B\to B\to C 的瓶颈权重为 CB+9B2+BCCB+9B^{2}+BC；直接 C→CC\to C 的 3×33\times 3 为 9C29C^{2}。B 远小于 C 时节省显著，但中间秩和信息容量也被限制，应联合验证精度、内存和实测延迟。
练习
所属知识
感受野与全局池化
难度
4/5

解释为何全局池化后的分类器依赖全图，却不意味着池化前单个特征拥有全图感受野。

查看提示
先递推池化前每位置感受野，再区分对位置求平均。
查看解答
卷积层按 rnew=rold+(Keff−1)joldr_{new}=r_{old}+(Keff-1)j_{old} 递推；全局池化把所有末层位置汇总，使最终向量依赖全图位置集合，但每个位置的局部特征仍只有其理论感受野。二者不能用一个感受野数字替代。
练习
所属知识
架构预算
难度
4/5

设计一张比较两个视觉骨干的最小完整成本表，说明为何只报参数量不足。

查看提示
同时列出参数、乘加、激活、顺序深度和目标硬件延迟。
查看解答
逐层记录 H×W×CH\times W\times C、参数、MAC、感受野和跳距；训练再加激活、梯度、优化器状态，推理在目标批量测延迟和内存。通道、分辨率和深度对成本的缩放不同，不能只按参数最少选型。

知识连接与资源

课程 · 2025

CS231n: Deep Learning for Computer Vision

Aditesh Kumar, Wenlong Huang, Cristobal Eyzaguirre

用于核对 A06 的离散卷积、网络结构、目标检测、密集预测、视觉 Transformer 及计算机视觉实验边界。

打开官方来源

Stanford CS231n 2025 课程材料可用于核对卷积块、层级架构、残差连接和视觉任务骨干。任何代表性思想的实际效果仍取决于数据、训练配方、输入分辨率和目标硬件。