【树莓派学习】十一、树莓派颜色识别

一、颜色的基础知识

1、彩色模型

数字图像处理中常用的采用模型是 RGB（红，绿，蓝）模型和 HSV（色调，饱和度，亮度），RGB 广泛应用于彩色监视器和彩色视频摄像机，我们平时的图片一般都是 RGB 模型。而 HSV 模型更符合人描述和解释颜色的方式，HSV 的彩色描述对人来说是自然且非常直观的。

2、HSV模型

HSV 模型中颜色的参数分别是：色调（H：hue），饱和度（S：saturation），亮度（V：value）。由 A. R. Smith 在 1978 年创建的一种颜色空间, 也称六角锥体模型(HexconeModel)。

• 色调（H：hue）：用角度度量，取值范围为 0°～360°，从红色开始按逆时针方向计算，红色为 0°，绿色为 120°,蓝色为 240°。它们的补色是：黄色为 60°，青色为 180°，品红为 300°；
• 饱和度（S：saturation）：取值范围为 0.0～1.0，值越大，颜色越饱和。
• 亮度（V：value）：取值范围为 0(黑色)～255(白色)。

二、介绍几个函数

1、设置 HSV 红色阈值

redLower = np.array([170, 100, 100])
redUpper = np.array([179, 255, 255])

2、获取视频帧并转成 HSV 格式，利用 cvtColor()将 BGR 格式转成 HSV 格式， 参数为 cv2.COLOR_BGR2HSV。

# get a frame and show
ret, frame = cap.read()
cv2.imshow('Capture', frame)# change to hsv model
hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)

3、获取 mask，利用 inRange()函数和 HSV 模型中蓝色范围的上下界获取 mask

# get mask
mask = cv2.inRange(hsv, redLower, redUpper)

4、腐蚀操作

mask = cv2.erode(mask, None, iterations=2)

5、膨胀操作

mask = cv2.dilate(mask, None, iterations=2)

在膨胀时， 图像中的物体会想周围“扩张”； 腐蚀时， 图像中的物体会“收缩”。 比较这两幅图像， 由于其变化的区域只发生在边缘。 所以这时将两幅图像相减， 得到的就是图像中物体的边缘。

6、识别轮廓

cnts = cv2.findContours(mask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]

第一个参数是寻找轮廓的图像；

第二个参数表示轮廓的检索模式， 有四种（本文介绍的都是新的 cv2 接口） ：

• cv2.RETR_EXTERNAL 表示只检测外轮廓
• cv2.RETR_LIST 检测的轮廓不建立等级关系
• cv2.RETR_CCOMP 建立两个等级的轮廓， 上面的一层为外边界， 里面的一层为内孔的边界信息。 如果内孔内还有一个连通物体， 这个物体的边界也在顶层。
• cv2.RETR_TREE 建立一个等级树结构的轮廓。

第三个参数 method 为轮廓的近似办法

• cv2.CHAIN_APPROX_NONE 存储所有的轮廓点， 相邻的两个点的像素位置差不超过 1，即 max（abs（x1-x2） ， abs（y2-y1） ） ==1
• cv2.CHAIN_APPROX_SIMPLE 压缩水平方向， 垂直方向， 对角线方向的元素， 只保留该方向的终点坐标， 例如一个矩形轮廓只需 4 个点来保存轮廓信息
• cv2.CHAIN_APPROX_TC89_L1， CV_CHAIN_APPROX_TC89_KCOS 使用 teh-Chinlchain 近似算法

7、轮廓的外接圆

cv2.minEnclosingCircle

利用迭代算法， 对给定的二维点集寻找计算可包围点集的最小圆形， 其定义如下：

void cv::minEnclosingCircle ( InputArray points, Point2f & center, float& radius )

• points:输入的二维点集， 数据类型为 vector<>或 Mat 类型
• center:绘制圆的圆心坐标
• radius:圆的半径

8、矩

图像的矩可以帮助我们计算图像的质心， 面积等。

函数 cv2.moments()会将计算得到的矩以一个字典的形式返回。根据这些矩的值， 我们可以计算出对象的重心：

9、图像上绘制文字

cv2.putText(I,'there 0 error(s):',(50,150),cv2.FONT_HERSHEY_COMPLEX,6,(0,0,255),25)

各参数依次是： 照片、添加的文字、左上角坐标、字体、字体大小、颜色、字体粗细

10、显示图片

cv2.imshow('Frame', frame)

三、示例代码

#coding:utf-8
from collections import  deque
import numpy as np
import time
#import imutils
import cv2
#设定红色阈值，HSV空间
redLower = np.array([170, 100, 100])
redUpper = np.array([179, 255, 255])
#初始化追踪点的列表
mybuffer = 16
pts = deque(maxlen=mybuffer)
counter = 0
#打开摄像头
camera = cv2.VideoCapture(0)
#等待两秒
time.sleep(3)
#遍历每一帧，检测红色识别物体
while True:
    #读取帧
    (ret, frame) = camera.read()
    #判断是否成功打开摄像头
    if not ret:
        print 'No Camera'
        break
    #frame = imutils.resize(frame, width=600)
    #转到HSV空间
    hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
    #根据阈值构建掩膜
    mask = cv2.inRange(hsv, redLower, redUpper)
    #腐蚀操作
    mask = cv2.erode(mask, None, iterations=2)
    #膨胀操作，其实先腐蚀再膨胀的效果是开运算，去除噪点
    mask = cv2.dilate(mask, None, iterations=2)
    cnts = cv2.findContours(mask.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]
    #初始化识别物体圆形轮廓质心
    center = None
    #如果存在轮廓
    if len(cnts) > 0:
        #找到面积最大的轮廓
        c = max(cnts, key = cv2.contourArea)
        #确定面积最大的轮廓的外接圆
        ((x, y), radius) = cv2.minEnclosingCircle(c)
        #计算轮廓的矩
        M = cv2.moments(c)
        #计算质心
        center = (int(M["m10"]/M["m00"]), int(M["m01"]/M["m00"]))
        #只有当半径大于10时，才执行画图
        if radius > 10:
            cv2.circle(frame, (int(x), int(y)), int(radius), (0, 255, 255), 2)
            cv2.circle(frame, center, 5, (0, 0, 255), -1)
            #把质心添加到pts中，并且是添加到列表左侧
            pts.appendleft(center)
    else:#如果图像中没有检测到识别物体，则清空pts，图像上不显示轨迹。
        pts.clear()
    
    for i in xrange(1, len(pts)):
        if pts[i - 1] is None or pts[i] is None:
            continue
        #计算所画小线段的粗细
        thickness = int(np.sqrt(mybuffer / float(i + 1)) * 2.5)
        #画出小线段
        cv2.line(frame, pts[i - 1], pts[i], (0, 0, 255), thickness)
        #判断移动方向
        if counter >= 10 and i == 1 and len(pts) >= 10:
            dX = pts[-10][0] - pts[i][0]
            dY = pts[-10][1] - pts[i][1]
            (dirX, dirY) = ("", "")
            
            if np.abs(dX) > 20:
                dirX = "Left" if np.sign(dX) == 1 else "Right"
            
            if np.abs(dY) > 20:
                dirY = "Down" if np.sign(dY) == 1 else "Up"
            
            if dirX != "" and dirY != "":
                direction = "{}-{}".format(dirY, dirX)
            else:
                direction = dirX if dirX != "" else dirY
        
            cv2.putText(frame, direction, (20, 50), cv2.FONT_HERSHEY_SIMPLEX, 2, 
                        (0, 255, 0), 3)
            cv2.putText(frame, "dx: {}, dy: {}".format(dX, dY), (10, frame.shape[0] - 10), 
                        cv2.FONT_HERSHEY_SIMPLEX, 0.35, (0, 0, 255), 1)
            
    cv2.imshow('Frame', frame)
    #键盘检测，检测到esc键退出
    k = cv2.waitKey(1)&0xFF
    counter += 1
    if k == 27:
        break
#摄像头释放
camera.release()
#销毁所有窗口
cv2.destroyAllWindows()