Computer Vision
计算机视觉涉及使用计算机软件和硬件建模和复制人类视觉。 在本章中,您将详细了解这一点。
计算机视觉
计算机视觉是一门学科,研究如何根据场景中存在的结构的属性,从其2d图像重建,中断和理解3d场景。
计算机视觉层次结构
计算机视觉分为以下三个基本类别 -
Low-level vision - 它包括用于特征提取的过程图像。
Intermediate-level vision - 包括物体识别和3D场景解释
High-level vision - 包括活动,意图和行为等场景的概念性描述。
计算机视觉与图像处理
图像处理研究图像到图像的变换。 图像处理的输入和输出都是图像。
计算机视觉是从图像中构建对物理对象进行明确,有意义的描述。 计算机视觉的输出是对3D场景中的结构的描述或解释。
应用程序 (Applications)
计算机视觉应用于以下领域 -
Robotics
本地化 - 自动确定机器人位置
Navigation
障碍避免
装配(钉孔,焊接,喷漆)
操纵(例如PUMA机器人操纵器)
人机交互(HRI):与人交互和服务的智能机器人
Medicine
分类和检测(例如病变或细胞分类和肿瘤检测)
2D/3D分割
3D人体器官重建(MRI或超声)
视觉引导机器人手术
Security
- 生物识别技术(虹膜,指纹,面部识别)
- 监视 - 检测某些可疑活动或行为
Transportation
- 自动驾驶汽车
- 安全性,例如驾驶员警惕性监控
Industrial Automation Application
- Industrial inspection (defect detection)
- Assembly
- 条形码和包装标签阅读
- 对象排序
- 文件理解(例如OCR)
安装有用的包
对于使用Python的计算机视觉,您可以使用名为OpenCV (开源计算机视觉)的流行库。 它是一个主要针对实时计算机视觉的编程功能库。 它是用C ++编写的,它的主要接口是C ++。 您可以借助以下命令安装此软件包 -
pip install opencv_python-X.X-cp36-cp36m-winX.whl
这里X代表您机器上安装的Python版本以及您拥有的win32或64位。
如果您使用的是anaconda环境,请使用以下命令安装OpenCV -
conda install -c conda-forge opencv
阅读,写作和显示图像
大多数CV应用程序需要将图像作为输入并将图像作为输出生成。 在本节中,您将学习如何借助OpenCV提供的功能读取和写入图像文件。
OpenCV函数用于读取,显示,写入图像文件
OpenCV为此提供以下功能 -
imread() function - 这是读取图像的函数。 OpenCV imread()支持各种图像格式,如PNG,JPEG,JPG,TIFF等。
imshow() function - 这是在窗口中显示图像的功能。 窗口自动适合图像大小。 OpenCV imshow()支持各种图像格式,如PNG,JPEG,JPG,TIFF等。
imwrite() function - 这是写入图像的函数。 OpenCV imwrite()支持各种图像格式,如PNG,JPEG,JPG,TIFF等。
例子 (Example)
此示例显示了用于以一种格式读取图像的Python代码 - 在窗口中显示它并以其他格式写入相同的图像。 考虑以下步骤 -
如图所示导入OpenCV包 -
import cv2
现在,要读取特定图像,请使用imread()函数 -
image = cv2.imread('image_flower.jpg')
要显示图像,请使用imshow()函数。 您可以在其中查看图像的窗口名称为image_flower 。
cv2.imshow('image_flower',image)
cv2.destroyAllwindows()
现在,我们可以使用imwrite()函数将相同的图像写入另一种格式,例如.png -
cv2.imwrite('image_flower.png',image)
输出True表示图像已成功写入.png文件也位于同一文件夹中。
True
注意 - 函数destroyallWindows()只是破坏我们创建的所有窗口。
色彩空间转换
在OpenCV中,图像不是使用传统的RGB颜色存储的,而是以相反的顺序存储,即以BGR顺序存储。 因此,读取图像时的默认颜色代码是BGR。 cvtColor()颜色转换函数用于将图像从一种颜色代码转换为另一种颜色代码。
例子 (Example)
考虑此示例将图像从BGR转换为灰度。
如图所示导入OpenCV包 -
import cv2
现在,要读取特定图像,请使用imread()函数 -
image = cv2.imread('image_flower.jpg')
现在,如果我们使用imshow()函数看到这个图像,那么我们可以看到这个图像在BGR中。
cv2.imshow('BGR_Penguins',image)
现在,使用cvtColor()函数将此图像转换为灰度。
image = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
cv2.imshow('gray_penguins',image)
边缘检测
人们在看到粗略的草图后,可以很容易地识别出许多物体类型和姿势。 这就是边缘在人类生活以及计算机视觉应用中发挥重要作用的原因。 OpenCV提供了非常简单有用的函数Canny()来检测边缘。
例子 (Example)
以下示例显示了边缘的清晰标识。
导入OpenCV包如图所示 -
import cv2
import numpy as np
现在,要读取特定图像,请使用imread()函数。
image = cv2.imread('Penguins.jpg')
现在,使用Canny ()函数检测已读取图像的边缘。
cv2.imwrite(‘edges_Penguins.jpg’,cv2.Canny(image,200,300))
现在,要显示带边的图像,请使用imshow()函数。
cv2.imshow(‘edges’, cv2.imread(‘‘edges_Penguins.jpg’))
这个Python程序将创建一个带边缘检测的名为edges_penguins.jpg的图像。
人脸检测
人脸检测是计算机视觉的迷人应用之一,使其更加真实和未来。 OpenCV具有执行面部检测的内置工具。 我们将使用Haar级联分类器进行人脸检测。
哈尔级联数据
我们需要数据来使用Haar级联分类器。 您可以在我们的OpenCV包中找到这些数据。 安装OpenCv后,您可以看到文件夹名称haarcascades 。 不同的应用程序会有.xml文件。 现在,将它们全部复制以供不同使用,然后粘贴到当前项目下的新文件夹中。
Example
以下是使用Haar Cascade检测Amitabh Bachan面部的Python代码,如下图所示 -
如图所示导入OpenCV包 -
import cv2
import numpy as np
现在,使用HaarCascadeClassifier检测面部 -
face_detection=
cv2.CascadeClassifier('D:/ProgramData/cascadeclassifier/
haarcascade_frontalface_default.xml')
现在,要读取特定图像,请使用imread()函数 -
img = cv2.imread('AB.jpg')
现在,将其转换为灰度,因为它会接受灰色图像 -
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
现在,使用face_detection.detectMultiScale ,执行实际的面部检测
faces = face_detection.detectMultiScale(gray, 1.3, 5)
现在,在整个脸部周围画一个矩形 -
for (x,y,w,h) in faces:
img = cv2.rectangle(img,(x,y),(x+w, y+h),(255,0,0),3)
cv2.imwrite('Face_AB.jpg',img)
这个Python程序将使用面部检测创建一个名为Face_AB.jpg的图像,如图所示
眼睛检测
眼睛检测是计算机视觉的另一个迷人应用,它使其更加真实和未来。 OpenCV有一个内置的工具来执行眼睛检测。 我们将使用Haar cascade分类器进行眼睛检测。
例子 (Example)
以下示例给出了使用Haar Cascade检测Amitabh Bachan面部的Python代码,如下图所示 -
导入OpenCV包如图所示 -
import cv2
import numpy as np
现在,使用HaarCascadeClassifier检测面部 -
eye_cascade = cv2.CascadeClassifier('D:/ProgramData/cascadeclassifier/haarcascade_eye.xml')
现在,要读取特定图像,请使用imread()函数
img = cv2.imread('AB_Eye.jpg')
现在,将其转换为灰度,因为它会接受灰色图像 -
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
现在借助eye_cascade.detectMultiScale ,执行实际的人脸检测
eyes = eye_cascade.detectMultiScale(gray, 1.03, 5)
现在,在整个脸部周围画一个矩形 -
for (ex,ey,ew,eh) in eyes:
img = cv2.rectangle(img,(ex,ey),(ex+ew, ey+eh),(0,255,0),2)
cv2.imwrite('Eye_AB.jpg',img)
这个Python程序将创建一个名为Eye_AB.jpg的图像,带有眼睛检测,如图所示 -