opencv-python图形图像处理入门基础知识

☞ ░ 前往老猿Python博文目录 ░

OpenCV 是计算机视觉中经典的专用库，其支持多语言、跨平台，功能强大。OpenCV-Python为OpenCV提供了Python接口，使得使用者在Python中能够调用C/C++，在保证易读性和运行效率的前提下，实现所需的功能。

一、安装

安装方法有多种，老猿机器上无C++环境，因此直接使用pip安装，OpenCV-Python模块名为opencv-python（在windows下大小写不敏感，其他操作系统没验证），具体安装命令如下：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python

二、加载OpenCV

导入OpenCV 模块指令很简单：
import cv2 as cv

大多数OpenCV 的函数都在cv2模块内，cv2并不是版本2.X的意思，而是因为这个版本是在原cv版本的基础上采用了面向对象编程的方式重新实现，提供了更好的API接口。

三、读取图像文件

3.1、语法：imread(filename,mode)

3.2、参数说明

• filename：图像文件名，不同操作系统支撑的文件类型不一样，但都支持bmp图像文件，另外可能还包括jpeg、png、tiff等格式文件
• mode：文件读入模式，常用有三种取值

1. cv.IMREAD_COLOR： 对应值为1，加载彩色图像。任何图像的透明度都会被忽视。它是默认标志。
2. cv.IMREAD_GRAYSCALE：对应值为0，以灰度模式加载图
3. cv.IMREAD_UNCHANGED：对应值为-1，加载图像，包括alpha通道

注意：除了这三个常用取值，还可以有多个取值，相关取值及含义如下：

3.3 返回值说明

imread返回一个BGR格式的图像对象，其类型为一个numpy数组。

3.4、案例

img = cv2.imread(r'F:\screenpic\redflower.jpg')

注意：

1. 图片文件名不能是中文名，否则识别会报错或不能读入；
2. imread会去除图像的alpha通道信息

四、显示图像

4.1、调用语法：imshow(title,img)

4.2、参数说明:

• title：图像显示窗窗口标题和名字
• img：opencv图像对象

imread读入的图像使用imshow即可显示，显示可以给显示窗设定标题，这个标题也是显示窗口的名字，标题不同的imshow会显示不同窗口。标题为一个英文字符串，相同标题的窗口就是同一个窗口。对于窗口，OpenCV提供鼠标及键盘事件处理机制。

imshow的窗口可以通过destroyWindow和destroyAllWindows进行关闭，前者要带窗口的标题，后者是关闭所有由当前程序创建的窗口。

4.3、案例

img = cv2.imread(r'F:\screenpic\redflower.jpg')
cv2.imshow('img',img)

五、VideoCapture读取摄像头、图像文件、或视频流

VideoCapture既支持从视频文件(.avi ， .mpg格式)读取，也支持直接从摄像机(比如电脑自带摄像头)中读取。VideoCapture是一个类，要想获取视频需要先创建一个VideoCapture对象，VideoCapture对象的创建方式有以下三种：

调用语法：

• VideoCapture(int deviceIndex，int apiPreference = CAP_ANY)：打开摄像头捕获视频。deviceIndex为摄像头序列号，打开缺省摄像头传0，apiPreference 为VideoCapture API后端标识符，老猿没有仔细研究，用缺省值即可
• VideoCapture(filename，int apiPreference = CAP_ANY)`:打开filename指定的文件
• VideoCapture（）：创建一个对象，但没有确认捕获数据来源，需要通过VideoCapture其他方法来确认捕获数据来源

更多VideoCapture的内容请参考《opencv学习—VideoCapture 类基础知识》。

下面的代码打开缺省摄像头捕获视频，并将捕获内容显示为窗口视频，并写入视频文件中保存，按q终止退出：

扫描二维码关注公众号，回复： 11997214 查看本文章

import cv2 

def captureVideoFromCamera():
    cap = cv2.VideoCapture(0,cv2.CAP_DSHOW)
    WIDTH = 1920
    HEIGHT = 1920
    FILENAME = r'f:\video\myvideo.avi'

    FPS = 24
    cap.set(cv2.CAP_PROP_FPS, 24)
    # 建议使用XVID编码,图像质量和文件大小比较都兼顾的方案
    fourcc = cv2.VideoWriter_fourcc(*'XVID')

    out = cv2.VideoWriter(FILENAME, fourcc=fourcc, fps=FPS,frameSize=(WIDTH,HEIGHT))

    if not cap.isOpened():
        print("Cannot open camera")
        exit()
    while True:
        # 逐帧捕获
        ret, frame = cap.read()
        # 如果正确读取帧，ret为True
        if not ret:
            print("Can't receive frame (stream end?). Exiting ...")
            break
        frame = cv2.flip(frame, 1)  # 水平翻转
        ret = out.write(frame)
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # 显示结果帧e
        cv2.imshow('frame', frame)
        if cv2.waitKey(1) == ord('q'):  break
    # 完成所有操作后，释放捕获器
    out.release()
    cap.release()
    cv2.destroyAllWindows()

captureVideoFromCamera()

六、OpenCV-Python的鼠标事件捕获

OpenCV提供了设置鼠标事件回调函数来提供鼠标事件处理的机制，设置回调函数的方法如下：
cv2.setMouseCallback(winName, OnMouseFunction, param)
其中winName为要设置鼠标回调处理的窗口名，OnMouseFunction为回调函数，用于处理鼠标响应，param为设置回调函数时传入的应用相关特定参数，可以不设置，但需要在回调函数访问设置回调函数对象属性时非常有用。

示例：

cv2.namedWindow('image')
cv2.setMouseCallback('image', draw_circle)

七、waitKey键盘事件处理

openCV提供了快速的键盘处理支持函数waitKey，调用语法：
retval = cv.waitKey( [, delay] )
其中：

• delay：等待键盘响应的时间，单位是毫秒，如果为0，则是一直等待到有键盘输入，否则就是等待对应时间还没有输入就超时返回
• retval：如果是超时返回-1，否则返回对应键盘按键的ASCII码，但注意对于部分功能键如F1–F10返回值为0，其他功能键老猿未一一测试，可以确认ESC键值可以正常返回（返回值27），Ctrl+c返回3

八、OpenCV的矩形绘制

OpenCV提供了在图像中绘制几何图形的方法，绘制的图像包括矩形、椭圆、扇形、弧等。本文主要介绍矩形的绘制，具体调用语法如下：

rectangle(img, pt1, pt2, color, thickness=None, lineType=None, shift=None)

其中参数：

• img：要显示的图像，为numpy数组，格式为BGR格式
• pt1：左上角点的坐标
• pt2：右下角点的坐标
• color：绘制的颜色，为BGR格式的三元组，如(255,0,0)表示蓝色
• thickness：边框的厚度，如果为负数，则该矩形为实心矩形，否则为空心矩形
• linetype：线型，包括4连通、8连通以及抗锯齿线型，使用缺省值即可
• shift：坐标值的精度，为2就表示精确到小数点后2位

另外该方法还有个变种调用方式：
rectangle(img, rec, color[, thickness[, lineType[, shift]]])，其中的rec为上面pt1和pt2构建的矩形。

除了矩形，OpenCV还支持绘制点、直线、圆、椭圆、文本（不支持中文）等，具体可参考《使用Python OpenCV处理图像之详解直线、圆、矩形及文字的绘制》，老猿就不展开介绍了。

下面的示例代码是打开视频播放，鼠标点击后暂停播放并在点击位置画圆，再次点击恢复播放：

import cv2

def mouseEvent( event, x, y, flags, param):
    if event == cv2.EVENT_LBUTTONDOWN:
        param[0] = not param[0]
        param[1] = (x,y)

def playVideoFile():
    cap = cv2.VideoCapture(r'f:\video\zbl1.mp4')
    fps = 1
    eventInf = [False,None]
    frame = None
    if not cap.isOpened():
        print("Cannot open camera")
        exit()
    cv2.namedWindow('image')
    cv2.setMouseCallback('image', mouseEvent,eventInf)
    while True:
        # 逐帧捕获
        pause,mousePos = eventInf
        if not pause:
            ret, frame = cap.read()
            if not ret:
                if frame is None :
                    print("The video has end.")
                else:
                    print("Read video error!")
                break

        else:
            if mousePos:
                cv2.circle(frame, mousePos,60,  (255,0,0),2)
        cv2.imshow('image', frame)
        ch = cv2.waitKey(int(1000/fps))
        if  ch == ord('q'):  break
    cap.release()
    cv2.destroyAllWindows()

playVideoFile()

九、OpenCV的颜色空间转换方法

cv2.cvtColor是openCV提供的颜色空间转换函数，调用语法如下：
cvtColor(src, code, dstCn=None)
其中：

• src：要转换的图像
• code：转换代码，表示从何种类型的图像转换为何种类型，如下面需要使用的cv2.COLOR_BGR2GRAY就是将BGR格式彩色图像转换成灰度图片，具体转换代码请参考官网文档
• dstCn：目标图像的通道数，如果为0表示根据源图像通道数以及转换代码自动确认

更多内容请参考《学习opencv之cvtColor》，示例请参考下面图像阈值处理部分的案例。

十、图像阈值处理

openCV图像的阈值处理又称为二值化，之所以称为二值化，是它可以将一幅图转换为感兴趣的部分（前景）和不感兴趣的部分（背景）。转换时，通常将某个值（即阈值）当作区分处理的标准，通常将超过阈值的像素作为前景。

阈值处理有2种方式，一种是固定阈值方式，又包括多种处理模式，另一种是非固定阈值，由程序根据算法以及给出的最大阈值计算图像合适的阈值，再用这个阈值进行二值化处理，非固定阈值处理时需要在固定阈值处理基础上叠加组合标记。

调用语法：
retval, dst = cv2.threshold (src, thresh, maxval, type)
其中：

• src：源图像，8位或32位图像的numpy数组
• thresh：阈值，0-255之间的数字，在进行处理时以阈值为边界来设不同的输出
• maxval：最大阈值，当使用固定阈值方法时为指定阈值，当叠加标记时为允许最大的阈值，算法必须在小于该值范围内计算合适的阈值
• type：处理方式，具体取值及含义如下：
  
• dst：阈值化处理后的结果图像numpy数组，其大小和通道数与源图像相同
• retval：叠加cv2.THRESH_OTSU或cv2.THRESH_TRIANGLE标记后返回真正使用的阈值

案例：

ret, mask = cv2.threshold(img, 35, 255, cv2.THRESH_BINARY|cv2.THRESH_OTSU)

补充说明：

1. 阈值判断时，是以小于等于阈值和大于阈值作为分界条件
2. 如果是32位彩色图像，则是以RGB每个通道的值单独与阈值进行比较，按每个通道进行阈值处理，返回的是一个阈值处理后的RGB各自的值。请参考《OpenCV阈值处理函数threshold处理32位彩色图像的案例》。

下面的代码生成一个图像的掩码图像：

def createImgMask(img):
    # 创建img的掩码
    if img is None:return None
    if len(img.shape)>=3:
        img2gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    else:img2gray = img
    ret, mask = cv2.threshold(img2gray, 35, 255, cv2.THRESH_BINARY)

    return mask

十一、adaptiveThreshold自适应阈值化图像处理

上面介绍的threshold 函数的图像阈值处理对于某些光照不均的图像，这种全局阈值分割的方法会显得苍白无力。图像阈值化操作中，我们更关心的是从二值化图像中分离目标区域和背景区域，仅仅通过固定阈值很难达到理想的分割效果。在图片中的灰度是不均匀的，所以通常情况下图片中不同区域的阈值是不一样的。这样就需要一种方法根据图像不同区域亮度或灰度分布，计算其局部阈值来进行阈值处理。这种方法就是自适应阈值化图像处理，实际上这可以称为局部阈值法，在OpenCV中的adaptiveThreshold就是这种方法。

调用语法：
adaptiveThreshold(src, maxValue, adaptiveMethod, thresholdType, blockSize, C, dst=None)

说明：

• src：源图像，必须是8位的灰度图
• dst：处理后的目标图像，大小和类型与源图像相同
• maxValue：用于指定满足条件的像素设定的灰度值
• adaptiveMethod：使用的自适应阈值算法，有2种类型ADAPTIVE_THRESH_MEAN_C算法（局部邻域块均值）或ADAPTIVE_THRESH_GAUSSIAN_C（局部邻域块高斯加权和），ADAPTIVE_THRESH_MEAN_C的计算方法是计算出邻域的平均值再减去第六个参数C的值，ADAPTIVE_THRESH_GAUSSIAN_C的计算方法是计算出邻域的高斯均匀值再减去第六个参数C的值。处理边界时使用BORDER_REPLICATE | BORDER_ISOLATED模式
• thresholdType：阈值类型，只能是THRESH_BINARY或THRESH_BINARY_INV二者之一，具体参考上面“图像阈值处理”的表格
• blockSize：表示邻域块大小，用来计算区域阈值，一般选择3、5、7……
• C：表示常数，它是一个从均匀或加权均值提取的常数，通常为正数，但也可以是负数或零
• 返回值：处理后的图像

补充说明：

1. 亮度较高的图像区域的二值化阈值通常会较高，而亮度较低的图像区域的二值化阈值则会相适应地变小
2. 在灰度图像中，灰度值变化明显的区域往往是物体的轮廓，所以将图像分成一小块一小块的去计算阈值往往会得出图像的轮廓。因此函数adaptiveThreshold除了将灰度图像二值化，也可以进行边缘提取
3. 之所以能进行边缘提取，是因为当block很小时，如block_size=3 or 5 or 7时，“自适应”的程度很高，即容易出现block里面的像素值都差不多，这样便无法二值化，而只能在边缘等梯度大的地方实现二值化，结果显得它是边缘提取函数
4. 当把blockSize设为比较大的值时，如blockSize=21 or 31 or 41时，adaptiveThreshold便是二值化函数
5. blockSize必须为大于1的奇数（原理老猿还没弄清楚） ，
6. 如果使用平均值方法，平均值mean为180，差值delta为10，maxValue设为255。那么灰度小于170的像素为0，大于等于170的像素为255，如果是反向二值化，灰度小于170的像素为255，大于等于170的像素为0

案例：

import cv2

img = cv2.imread(r'F:\screenpic\1.jpg',cv2.IMREAD_GRAYSCALE)
newImg = cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY_INV, 3, 5)
cv2.imshow('img',img)
cv2.imshow('newImg',newImg)
cv2.waitKey(60000)

运行效果：
源图：

下面是分别设置不同块大小的结果图，左图块大小为31，右图为3：

可以看到blockSize小时，轮廓识别效果明显，而大时，就是一个二值化图像。

十二、OpenCV的图像修复方法

OpenCV中的cv2.inpaint()函数使用插值方法修复图像，调用语法如下：
dst = cv2.inpaint（src，mask, inpaintRadius，flags）

参数含义如下：

• src：输入8位1通道或3通道图像
• inpaintMask：修复掩码，8位1通道图像。非零像素表示需要修复的区域
• dst：输出与src具有相同大小和类型的图像
• inpaintRadius：算法考虑的每个点的圆形邻域的半径
• flags：修复算法标记，其中INPAINT_NS表示基于Navier-Stokes方法，INPAINT_TELEA表示Alexandru Telea方法。具体方法在此不展开介绍

下面的代码对一个包含亮色Logo的图片进行去Logo处理：

import cv2


def createImgMask(img):
    # 创建img的掩码
    if img is None:return None
    if len(img.shape)>=3:
        img2gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    else:
        img2gray = img
    ret, mask = cv2.threshold(img2gray, 35, 255, cv2.THRESH_BINARY)

    return mask

def delLogFromImg(img):
    imgMask = createImgMask(img)
    imgMask = cv2.inpaint(img, imgMask , 3, cv2.INPAINT_TELEA)
    return imgMask

img1 = cv2.imread(r'F:\temp\logo.jpg')
img2 = cv2.imread(r'F:\temp\logo.jpg',cv2.IMREAD_GRAYSCALE)

newImg1 = delLogFromImg(img1)
newImg2 = delLogFromImg(img2)

cv2.imshow('img1',img1)
cv2.imshow('newImg1',newImg1)

cv2.imshow('img2',img2)
cv2.imshow('newImg2',newImg2)
cv2.waitKey(60000)

执行截图1：

小结

本文详细介绍了opencv-python的安装、加载图像文件、捕获摄像头、显示图像、鼠标事件捕获、键盘事件处理、几何图像绘制、颜色空间转换、图像阈值处理、图像修复等基础知识，适合开始学习opencv-python的初学者。

关于老猿的付费专栏

老猿的付费专栏《使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，付费专栏《moviepy音视频开发专栏》详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，两个专栏加起来只需要19.9元，都适合有一定Python基础但无相关专利知识的小白读者学习。这2个收费专栏都有对应免费专栏，只是收费专栏的文章介绍更具体、内容更深入、案例更多。

付费专栏文章目录：《moviepy音视频开发专栏文章目录》、《使用PyQt开发图形界面Python应用专栏目录》。

关于Moviepy音视频开发的内容，请大家参考《Python音视频剪辑库MoviePy1.0.3中文教程导览及可执行工具下载》的导览式介绍。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《专栏：Python基础教程目录》从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

跟老猿学Python!

☞ ░ 前往老猿Python博文目录 ░