把一张 224×224 的彩色图片直接铺进全连接层,仅一层 1000 个隐藏单元就需要约 1.5 亿个参数,而且猫在左上角和右下角要分别学一遍。卷积神经网络(CNN)用三个假设解决了这两个问题:看得局部、权重共享、层层组合。这篇文章把卷积、池化和感受野讲透,并回答「它为什么在图像上有效」。

一、直觉:全连接层错在哪

全连接层把图像当成一列数字,每个输出单元连接所有像素。三个后果:

  • 参数爆炸:每个像素与每个隐藏单元都有一条权重,训练和存储都昂贵。
  • 没有平移概念:同一只猫出现在图像不同位置,网络要重新学一遍。
  • 忽略空间结构:把图像展平后,相邻像素的关系被丢掉了。

图像有两个稳定性质:相邻像素高度相关,同一个模式出现在哪里都是同一个模式。卷积正是把这两点写进结构的做法。

二、卷积在算什么

一个卷积核(比如 3×3)在输入上滑动,每到一处,把窗口内的像素与核逐元素相乘再求和,加上偏置,得到一个输出值。整张图滑完,就得到一张特征图。核学到的是一种局部模式,例如边缘、角点或某种纹理。

两个常用变体:1×1 卷积只做通道间的线性组合,用来升降维;空洞卷积在核元素之间插入间隔,不增加参数就能扩大感受野,常用于分割任务。

三个关键概念:

  • 局部连接:每个输出只看一个小窗口,而不是整张图。
  • 权重共享:同一个核在所有位置复用,参数量与图像大小无关。
  • 多通道:输入有多个通道时,每个输入通道配一个核,结果相加;要输出多个通道,就用多组核。

两个公式必须会算。输出尺寸等于 (W − k + 2p) / s 向下取整再加 1,其中 W 是输入边长、k 是核大小、p 是填充、s 是步幅。参数量等于 (k × k × 输入通道数 + 1) × 输出通道数。例如输入 32×32×3,用 3×3 核、16 个输出通道、填充 1、步幅 1,输出是 32×32×16,参数量是 (3×3×3+1)×16 = 448。

三、池化与感受野:从像素到物体

池化:在局部窗口里取最大值或平均值,常见 2×2、步幅 2,把特征图的长宽各减半。它没有可学习参数,作用有两个:降低计算量,以及让表示对小幅平移不那么敏感。最大池化保留最强响应,平均池化更平滑。

感受野:输出特征图上的一个点,对应输入图像上多大的区域。卷积堆得越深,感受野越大,这是 CNN 能从边缘组合出物体的基础。递推算法:初始感受野 r = 1、跳跃步长 j = 1;每过一个核大小为 k、步幅为 s 的层,新的感受野 r = r + (k − 1) × j,然后 j = j × s。

举例:三层 3×3、步幅 1 的卷积,感受野依次是 3、5、7。这也解释了一个经典设计:两层 3×3 卷积与一层 5×5 卷积感受野相同,但两层 3×3 的参数量是 2×9×C² = 18C²,小于 25C²,还多了一次非线性激活。VGG 网络大量使用 3×3 堆叠,原因就在这里。

还要区分理论感受野和有效感受野:公式给出的是上限,实际中心像素的权重更高、边缘影响有限,有效范围通常更小。做检测时不能只套公式,还要看目标在特征图上的真实响应。

四、一个 CNN 的典型结构

经典结构可以概括为:卷积提特征、归一化和激活、池化降尺寸,重复若干次,最后用全局平均池化或全连接层输出分类。以 32×32×3 输入、10 类为例:

操作输出尺寸参数量
输入32×32×30
3×3 卷积,16 通道,填充 132×32×16448
2×2 最大池化16×16×160
3×3 卷积,32 通道,填充 116×16×324640
2×2 最大池化8×8×320
3×3 卷积,64 通道,填充 18×8×6418496
全局平均池化640
全连接 64 到 1010650

现代网络在这个骨架上做了替换:用 ResNet 的残差连接让网络更深,用 1×1 卷积做通道混合,用深度可分离卷积减少计算量,用全局平均池化替代大参数的全连接层。

五、为什么它在图像上有效

CNN 把图像先验写进了结构,这些先验叫归纳偏置:

  • 局部性:有用的模式通常只涉及邻近像素,小核足够。
  • 平移等变:图像平移,卷积输出也随之平移;池化再带来近似的不变性。
  • 层次组合:浅层学边缘和颜色,中层学纹理和部件,深层学物体,复杂特征由简单特征拼出来。
对比项全连接网络CNN视觉 Transformer
参数效率低,随像素数暴涨高,权重共享中等,注意力层参数量可控
局部先验无强弱,需要从数据学
全局交互有,但代价高需堆深层或用大核每层都能全局交互
数据需求中等相对小数据也能用通常需要更多数据或强预训练

视觉 Transformer 在足够大的数据上可以超过 CNN,但它缺少 CNN 的局部性和平移等变先验,小数据上更容易过拟合,这也是很多模型在开头保留卷积 stem 的原因。

归纳偏置本质是「先验换数据」:数据越少,结构里写进的先验越值钱;数据越多,先验的边际收益越小。

六、常见坑

  1. 尺寸算错:不同框架对 same 填充的定义不完全一致,PyTorch 需要手算 padding,输出尺寸对不上时先检查公式。
  2. 步幅过大:一开始就用大步幅或大池化,会丢掉小目标的信息,检测和分割任务尤其敏感。
  3. 感受野不够:检测大物体时,输出点的感受野必须覆盖目标,堆层或增大步幅都要有意识地设计。
  4. 批归一化与小 batch:批很小时统计量不稳,训练和推理表现差异大,可考虑 GroupNorm。
  5. 忘记 eval 模式:推理前没切 eval,Dropout 和批归一化会继续按训练方式工作,指标异常。
  6. 输入未归一化:迁移学习时要和预训练模型使用相同的均值、方差与颜色通道顺序。
  7. 数据增强不当:随机裁剪可能把目标裁掉,水平翻转可能改变语义(如文字、左右手),增强前先确认哪些变换不改变标签。

七、练习清单

  1. 手算 224×224×3 输入经过 7×7 卷积(64 通道、步幅 2、填充 3)后的输出尺寸和参数量,再用 PyTorch 验证。
  2. 用上面的公式计算三层 3×3 卷积的感受野,并解释为什么不用一层 7×7。
  3. 可视化一个训练好的 CNN 第一层卷积核,观察它们学到了什么。
  4. 在同一小数据集上分别训练全连接网络和 CNN,比较验证准确率与参数量。
  5. 把 3×3 卷积替换成 5×5,保持感受野不变,比较训练速度和效果。
  6. 用预训练 ResNet 做微调,对比从头训练,记录数据量对结果的影响。

CNN 的力量不在于「卷积」这个操作本身,而在于它把「局部、共享、层次」三个关于图像的信念写进了网络结构。

参考与延伸阅读

外链内容由对应网站负责,访问以实际可用性为准。