把一张 224×224 的彩色图片直接铺进全连接层,仅一层 1000 个隐藏单元就需要约 1.5 亿个参数,而且猫在左上角和右下角要分别学一遍。卷积神经网络(CNN)用三个假设解决了这两个问题:看得局部、权重共享、层层组合。这篇文章把卷积、池化和感受野讲透,并回答「它为什么在图像上有效」。
一、直觉:全连接层错在哪
全连接层把图像当成一列数字,每个输出单元连接所有像素。三个后果:
- 参数爆炸:每个像素与每个隐藏单元都有一条权重,训练和存储都昂贵。
- 没有平移概念:同一只猫出现在图像不同位置,网络要重新学一遍。
- 忽略空间结构:把图像展平后,相邻像素的关系被丢掉了。
图像有两个稳定性质:相邻像素高度相关,同一个模式出现在哪里都是同一个模式。卷积正是把这两点写进结构的做法。
二、卷积在算什么
一个卷积核(比如 3×3)在输入上滑动,每到一处,把窗口内的像素与核逐元素相乘再求和,加上偏置,得到一个输出值。整张图滑完,就得到一张特征图。核学到的是一种局部模式,例如边缘、角点或某种纹理。
两个常用变体:1×1 卷积只做通道间的线性组合,用来升降维;空洞卷积在核元素之间插入间隔,不增加参数就能扩大感受野,常用于分割任务。
三个关键概念:
- 局部连接:每个输出只看一个小窗口,而不是整张图。
- 权重共享:同一个核在所有位置复用,参数量与图像大小无关。
- 多通道:输入有多个通道时,每个输入通道配一个核,结果相加;要输出多个通道,就用多组核。
两个公式必须会算。输出尺寸等于 (W − k + 2p) / s 向下取整再加 1,其中 W 是输入边长、k 是核大小、p 是填充、s 是步幅。参数量等于 (k × k × 输入通道数 + 1) × 输出通道数。例如输入 32×32×3,用 3×3 核、16 个输出通道、填充 1、步幅 1,输出是 32×32×16,参数量是 (3×3×3+1)×16 = 448。
三、池化与感受野:从像素到物体
池化:在局部窗口里取最大值或平均值,常见 2×2、步幅 2,把特征图的长宽各减半。它没有可学习参数,作用有两个:降低计算量,以及让表示对小幅平移不那么敏感。最大池化保留最强响应,平均池化更平滑。
感受野:输出特征图上的一个点,对应输入图像上多大的区域。卷积堆得越深,感受野越大,这是 CNN 能从边缘组合出物体的基础。递推算法:初始感受野 r = 1、跳跃步长 j = 1;每过一个核大小为 k、步幅为 s 的层,新的感受野 r = r + (k − 1) × j,然后 j = j × s。
举例:三层 3×3、步幅 1 的卷积,感受野依次是 3、5、7。这也解释了一个经典设计:两层 3×3 卷积与一层 5×5 卷积感受野相同,但两层 3×3 的参数量是 2×9×C² = 18C²,小于 25C²,还多了一次非线性激活。VGG 网络大量使用 3×3 堆叠,原因就在这里。
还要区分理论感受野和有效感受野:公式给出的是上限,实际中心像素的权重更高、边缘影响有限,有效范围通常更小。做检测时不能只套公式,还要看目标在特征图上的真实响应。
四、一个 CNN 的典型结构
经典结构可以概括为:卷积提特征、归一化和激活、池化降尺寸,重复若干次,最后用全局平均池化或全连接层输出分类。以 32×32×3 输入、10 类为例:
| 操作 | 输出尺寸 | 参数量 |
|---|---|---|
| 输入 | 32×32×3 | 0 |
| 3×3 卷积,16 通道,填充 1 | 32×32×16 | 448 |
| 2×2 最大池化 | 16×16×16 | 0 |
| 3×3 卷积,32 通道,填充 1 | 16×16×32 | 4640 |
| 2×2 最大池化 | 8×8×32 | 0 |
| 3×3 卷积,64 通道,填充 1 | 8×8×64 | 18496 |
| 全局平均池化 | 64 | 0 |
| 全连接 64 到 10 | 10 | 650 |
现代网络在这个骨架上做了替换:用 ResNet 的残差连接让网络更深,用 1×1 卷积做通道混合,用深度可分离卷积减少计算量,用全局平均池化替代大参数的全连接层。
五、为什么它在图像上有效
CNN 把图像先验写进了结构,这些先验叫归纳偏置:
- 局部性:有用的模式通常只涉及邻近像素,小核足够。
- 平移等变:图像平移,卷积输出也随之平移;池化再带来近似的不变性。
- 层次组合:浅层学边缘和颜色,中层学纹理和部件,深层学物体,复杂特征由简单特征拼出来。
| 对比项 | 全连接网络 | CNN | 视觉 Transformer |
|---|---|---|---|
| 参数效率 | 低,随像素数暴涨 | 高,权重共享 | 中等,注意力层参数量可控 |
| 局部先验 | 无 | 强 | 弱,需要从数据学 |
| 全局交互 | 有,但代价高 | 需堆深层或用大核 | 每层都能全局交互 |
| 数据需求 | 中等 | 相对小数据也能用 | 通常需要更多数据或强预训练 |
视觉 Transformer 在足够大的数据上可以超过 CNN,但它缺少 CNN 的局部性和平移等变先验,小数据上更容易过拟合,这也是很多模型在开头保留卷积 stem 的原因。
归纳偏置本质是「先验换数据」:数据越少,结构里写进的先验越值钱;数据越多,先验的边际收益越小。
六、常见坑
- 尺寸算错:不同框架对 same 填充的定义不完全一致,PyTorch 需要手算 padding,输出尺寸对不上时先检查公式。
- 步幅过大:一开始就用大步幅或大池化,会丢掉小目标的信息,检测和分割任务尤其敏感。
- 感受野不够:检测大物体时,输出点的感受野必须覆盖目标,堆层或增大步幅都要有意识地设计。
- 批归一化与小 batch:批很小时统计量不稳,训练和推理表现差异大,可考虑 GroupNorm。
- 忘记 eval 模式:推理前没切 eval,Dropout 和批归一化会继续按训练方式工作,指标异常。
- 输入未归一化:迁移学习时要和预训练模型使用相同的均值、方差与颜色通道顺序。
- 数据增强不当:随机裁剪可能把目标裁掉,水平翻转可能改变语义(如文字、左右手),增强前先确认哪些变换不改变标签。
七、练习清单
- 手算 224×224×3 输入经过 7×7 卷积(64 通道、步幅 2、填充 3)后的输出尺寸和参数量,再用 PyTorch 验证。
- 用上面的公式计算三层 3×3 卷积的感受野,并解释为什么不用一层 7×7。
- 可视化一个训练好的 CNN 第一层卷积核,观察它们学到了什么。
- 在同一小数据集上分别训练全连接网络和 CNN,比较验证准确率与参数量。
- 把 3×3 卷积替换成 5×5,保持感受野不变,比较训练速度和效果。
- 用预训练 ResNet 做微调,对比从头训练,记录数据量对结果的影响。
CNN 的力量不在于「卷积」这个操作本身,而在于它把「局部、共享、层次」三个关于图像的信念写进了网络结构。
参考与延伸阅读
- Convolutional Neural Networks(CS231n 课程笔记)
- Computing Receptive Fields of Convolutional Neural Networks(Distill, 2019)
- ImageNet Classification with Deep Convolutional Neural Networks(AlexNet, NeurIPS 2012)
- Deep Residual Learning for Image Recognition(ResNet, arXiv:1512.03385)
- torch.nn.Conv2d(PyTorch 官方文档)
- An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(ViT)
外链内容由对应网站负责,访问以实际可用性为准。