计算机视觉是什么？让机器看懂图像和视频

计算机视觉（Computer Vision，CV）是人工智能的一个重要分支，研究如何让计算机能够从图像和视频中获取信息、理解其中的内容，就像人用眼睛和大脑去“看”世界一样。它的目标不只是让计算机“看到”像素，更是让它“看懂”画面中有什么、在哪里、正在发生什么。

为什么看懂图像很难

对人来说，看一眼就能认出照片里的猫，几乎毫不费力。但对计算机来说，一张照片只是一个巨大的数字矩阵，每个数字代表一个像素的颜色。同一只猫，换一个角度、换一种光照、被东西挡住一半、出现在画面的不同位置、离镜头远近不同，像素值都会完全不同；而不同品种、不同颜色的猫，看起来也千差万别。要让计算机从这些变化多端的数字中，稳定地识别出“这是一只猫”，是一个极其困难的问题。上世纪 60 年代，有研究者曾以为让计算机“看懂”图像是一个暑期项目就能解决的问题，结果这个领域的研究持续至今。

主要的任务

图像分类：判断一张图片中的主要内容属于哪个类别。目标检测：找出图片中所有的物体，并用边界框标出它们的位置和类别。图像分割：为图片中的每一个像素标注类别，包括区分类别的语义分割、区分每个物体个体的实例分割，以及两者结合的全景分割。人脸识别：识别或验证照片中的人是谁。姿态估计：检测人体的关键点，比如关节的位置。光学字符识别：识别图片中的文字。三维重建：从多张照片中恢复场景的三维结构。目标跟踪和视频理解：在视频中跟踪物体的运动，识别其中的动作和事件。图像生成与编辑：根据文字描述生成图片、修复和增强图片。

技术的演变

早期的计算机视觉主要依靠人工设计的方法：研究者设计各种算法来提取图像中的边缘、角点、纹理等特征，比如 Canny 边缘检测、尺度不变特征变换（SIFT）、方向梯度直方图（HOG），再配合支持向量机等分类器进行识别。2001 年 Paul Viola 和 Michael Jones 提出的人脸检测方法是这一时期的代表性成果，让实时的人脸检测成为可能。

2012 年是一个转折点：杰弗里·辛顿的学生亚历克斯·克里热夫斯基等人用深度卷积神经网络 AlexNet 参加 ImageNet 图像识别比赛，错误率比第二名低了十多个百分点。此后，深度学习迅速成为计算机视觉的主流：VGG、GoogLeNet、ResNet 等网络不断刷新纪录；R-CNN 系列、YOLO 系列等推动了目标检测的发展；U-Net、Mask R-CNN 等推动了图像分割的发展。李飞飞团队建立的 ImageNet 数据集在这一过程中发挥了关键的作用。2020 年，视觉 Transformer 把 Transformer 架构引入了图像领域。2021 年，OpenAI 的 CLIP 把图像和文字联系了起来。2023 年，Meta 的 SAM 模型能够分割几乎任何物体。如今，计算机视觉与大语言模型深度融合，多模态大模型能够理解图片的内容、回答关于图片的问题、读懂图表和文档。

应用

计算机视觉已经被广泛地应用：手机的人脸解锁、拍照美颜和场景识别；安防监控；自动驾驶中识别道路、车辆、行人和交通标志；医学影像中辅助检测肿瘤、视网膜病变等；工业生产中的产品缺陷检测；零售中的无人收银和货架管理；农业中的病虫害识别；文档的数字化和票据识别；以及增强现实、机器人等。人脸识别等技术的使用涉及个人隐私，需要遵守个人信息保护的相关法律法规。