计算机视觉
让机器看懂图像:分类、检测、分割与部署
计算机视觉(Computer Vision)让机器从图像和视频中获取信息:分类、检测、分割、跟踪、深度估计,以及近年的视觉与语言多模态。它是机器人感知、自动驾驶、工业质检和内容审核的基础能力,也是深度学习最早取得突破的领域之一。这些问题看似分散,底层的表示学习与评估方法却是相通的。
为什么仍是必修课
大模型让「看图说话」变得容易,但真正落地的视觉系统仍要解决数据、延迟、部署和长尾场景。理解卷积、感受野、检测头、数据增强这些基础,才能判断一个预训练模型能不能用在你的产线上,而不是只会调用接口。视觉模型的效果上限,通常由数据质量和问题定义决定。另外,视觉任务的标注成本高,如何用少量数据做出可用模型,是工程上的常见挑战。
关键概念与技术路线
按数据流看,视觉系统通常分成骨干、任务头、训练策略和部署四层。
- 骨干网络:从 ResNet 到 ViT,理解归纳偏置与数据量之间的权衡。
- 任务头:分类、目标检测(YOLO 系列、DETR)、分割(Mask R-CNN、SAM)。
- 训练技巧:数据增强、迁移学习、学习率调度、正负样本平衡。
- 评测与部署:mAP、IoU、召回率;ONNX、TensorRT 量化与推理加速。
怎么学
CS231n 用来建立体系,OpenCV 练手做传统图像处理,然后用 PyTorch 微调一个检测或分割模型,最后尝试把它部署成可调用的服务并测量帧率。每做一个项目,都记录数据来源、指标和失败案例,这比多跑几个模型更能提升判断力。如果做工业场景,先确认相机、光照与标注规范,再谈模型选型。
如果你做机器人方向,视觉之后可以接着学 ROS 2 与标定,让模型真正接上相机与硬件。视觉模型的能力边界,往往由数据分布决定。把每次实验的配置和指标存下来,比记住结论更有用。
这个专题要回答的问题
- 做视觉任务,该用传统方法还是深度学习?
- 目标检测和图像分割的区别是什么,分别用在哪里?
- 数据集太小怎么办?迁移学习能解决多少问题?
- mAP 很高但实际效果差,是什么原因?
- 模型训练好了,怎么部署到边缘设备上跑实时?
- ViT 会取代 CNN 吗?
精选资源
视觉与深度学习结合的经典课程,作业质量很高。
传统图像处理与工程化预处理的主要工具。
预训练骨干网络与检测分割模型,附精度与速度对比。
残差连接,现代视觉骨干网络的基础。
检测、分割与关键点任务的标准评测基准。
可提示分割的代表工作,理解视觉基础模型的能力边界。
相关文章
CNN 入门:卷积、池化、感受野,以及为什么它在图像上有效
从全连接层在图像上的浪费讲起,解释卷积的局部连接与权重共享、池化与感受野的计算,给出 CNN 典型结构与参数量算法,以及它在图像上有效的归纳偏置和常见坑。
深度学习训练排错手册:loss 不降、震荡、过拟合怎么查
深度学习训练排错手册:loss 不降、震荡、NaN、过拟合四类症状的排查顺序,从过拟合单个 batch、检查数据与学习率,到梯度裁剪、混合精度与正则化,附排查表和练习。
过拟合与泛化:为什么模型「考试满分、实战拉胯」
为什么模型训练集几乎全对、换数据就崩:用偏差与方差解释泛化误差,给出学习曲线与验证曲线的诊断表,梳理数据、正则、早停、集成等对策,以及双下降等常见误区。
分类与回归指标怎么选:准确率、召回、F1、AUC、MAE/RMSE
分类与回归指标的选择指南:从混淆矩阵推出准确率、精确率、召回率与 F1,讲清 ROC/AUC 与 PR 曲线的适用边界,再对比 MAE、RMSE、R²,附选型表和常见坑。