日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

形态学操作

学习目标

理解图像的邻域，连通性
了解不同的形态学操作：腐蚀，膨胀，开闭运算，礼帽和黑帽等，及其不同操作之间的关系

1 连通性

在图像中，最小的单位是像素，每个像素周围有8个邻接像素，常见的邻接关系有3种：4邻接、8邻接和D邻接。分别如下图所示：

2 形态学操作

形态学转换是基于图像形状的一些简单操作。它通常在二进制图像上执行。腐蚀和膨胀是两个基本的形态学运算符。然后它的变体形式如开运算，闭运算，礼帽黑帽等。

2.1 腐蚀和膨胀

腐蚀和膨胀是最基本的形态学操作，腐蚀和膨胀都是针对白色部分（高亮部分）而言的。

膨胀就是使图像中高亮部分扩张，效果图拥有比原图更大的高亮区域；腐蚀是原图中的高亮区域被蚕食，效果图拥有比原图更小的高亮区域。膨胀是求局部最大值的操作，腐蚀是求局部最小值的操作。

腐蚀

具体操作是：用一个结构元素扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。如下图所示，结构A被结构B腐蚀后：

腐蚀的作用是消除物体边界点，使目标缩小，可以消除小于结构元素的噪声点。

API：

   cv.erode(img,kernel,iterations)

参数：

img: 要处理的图像
kernel: 核结构
iterations: 腐蚀的次数，默认是1

膨胀

具体操作是：用一个结构元素扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。如下图所示，结构A被结构B腐蚀后：

膨胀的作用是将与物体接触的所有背景点合并到物体中，使目标增大，可添补目标中的孔洞。

API：

   cv.dilate(img,kernel,iterations)

参数：

img: 要处理的图像
kernel: 核结构
iterations: 腐蚀的次数，默认是1

示例

我们使用一个5*5的卷积核实现腐蚀和膨胀的运算：

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img = cv.imread("./image/image3.png")
# 2 创建核结构
kernel = np.ones((5, 5), np.uint8)

# 3 图像腐蚀和膨胀
erosion = cv.erode(img, kernel) # 腐蚀
dilate = cv.dilate(img,kernel) # 膨胀

# 4 图像展示
fig,axes=plt.subplots(nrows=1,ncols=3,figsize=(10,8),dpi=100)
axes[0].imshow(img)
axes[0].set_title("原图")
axes[1].imshow(erosion)
axes[1].set_title("腐蚀后结果")
axes[2].imshow(dilate)
axes[2].set_title("膨胀后结果")
plt.show()

2.2 开闭运算

开运算和闭运算是将腐蚀和膨胀按照一定的次序进行处理。但这两者并不是可逆的，即先开后闭并不能得到原来的图像。

开运算

开运算是先腐蚀后膨胀，其作用是：分离物体，消除小区域。特点：消除噪点，去除小的干扰块，而不影响原来的图像。

2.闭运算

闭运算与开运算相反，是先膨胀后腐蚀，作用是消除/“闭合”物体里面的孔洞，特点：可以填充闭合区域。

API
- img: 要处理的图像
- op: 处理方式：若进行开运算，则设为cv.MORPH_OPEN，若进行闭运算，则设为cv.MORPH_CLOSE
- Kernel：核结构
```
cv.morphologyEx(img, op, kernel)
```
参数：

示例

使用10*10的核结构对卷积进行开闭运算的实现。

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("./image/image5.png")
img2 = cv.imread("./image/image6.png")
# 2 创建核结构
kernel = np.ones((10, 10), np.uint8)
# 3 图像的开闭运算
cvOpen = cv.morphologyEx(img1,cv.MORPH_OPEN,kernel) # 开运算
cvClose = cv.morphologyEx(img2,cv.MORPH_CLOSE,kernel)# 闭运算
# 4 图像展示
fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,8))
axes[0,0].imshow(img1)
axes[0,0].set_title("原图")
axes[0,1].imshow(cvOpen)
axes[0,1].set_title("开运算结果")
axes[1,0].imshow(img2)
axes[1,0].set_title("原图")
axes[1,1].imshow(cvClose)
axes[1,1].set_title("闭运算结果")
plt.show()

2.3 礼帽和黑帽

礼帽运算

原图像与“开运算“的结果图之差，如下式计算：

因为开运算带来的结果是放大了裂缝或者局部低亮度的区域，因此，从原图中减去开运算后的图，得到的效果图突出了比原图轮廓周围的区域更明亮的区域，且这一操作和选择的核的大小相关。

　　礼帽运算用来分离比邻近点亮一些的斑块。当一幅图像具有大幅的背景的时候，而微小物品比较有规律的情况下，可以使用顶帽运算进行背景提取。
黑帽运算

为”闭运算“的结果图与原图像之差。数学表达式为：

黑帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域，且这一操作和选择的核的大小相关。

黑帽运算用来分离比邻近点暗一些的斑块。
API
```
cv.morphologyEx(img, op, kernel)
```
参数：
- img: 要处理的图像
- op: 处理方式：

Kernel：核结构

示例

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("./image/image5.png")
img2 = cv.imread("./image/image6.png")
# 2 创建核结构
kernel = np.ones((10, 10), np.uint8)
# 3 图像的礼帽和黑帽运算
cvOpen = cv.morphologyEx(img1,cv.MORPH_TOPHAT,kernel) # 礼帽运算
cvClose = cv.morphologyEx(img2,cv.MORPH_BLACKHAT,kernel)# 黑帽运算
# 4 图像显示
fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,8))
axes[0,0].imshow(img1)
axes[0,0].set_title("原图")
axes[0,1].imshow(cvOpen)
axes[0,1].set_title("礼帽运算结果")
axes[1,0].imshow(img2)
axes[1,0].set_title("原图")
axes[1,1].imshow(cvClose)
axes[1,1].set_title("黑帽运算结果")
plt.show()

总结

连通性邻接关系：4邻接，8邻接和D邻接

连通性：4连通，8连通和m连通
形态学操作
- 腐蚀和膨胀：
  
  腐蚀：求局部最大值
  
  膨胀：求局部最小值
- 开闭运算：
  
  开：先腐蚀后膨胀
  
  闭：先膨胀后腐蚀
- 礼帽和黑帽：
  
  礼帽：原图像与开运算之差
  
  黑帽：闭运算与原图像之差

In [1]:

import numpy as np

import cv2 as cv

import matplotlib.pyplot as plt

腐蚀与膨胀

In [2]:

img = cv.imread("./image/letter.png")

In [3]:

plt.imshow(img[:,:,::-1])

Out[3]:

<matplotlib.image.AxesImage at 0x124f64150>

In [4]:

# 创建核结构

kenel = np.ones((5,5),np.uint8)

In [5]:

# 腐蚀

img2 = cv.erode(img,kenel)

In [6]:

plt.imshow(img2[:,:,::-1])

Out[6]:

<matplotlib.image.AxesImage at 0x1251a7d50>

In [7]:

# 膨胀

img1 = cv.dilate(img,kenel)

In [8]:

plt.imshow(img1[:,:,::-1])

Out[8]:

<matplotlib.image.AxesImage at 0x1252d23d0>

开闭运算

In [9]:

open = cv.imread("./image/letteropen.png")

In [10]:

plt.imshow(open[:,:,::-1])

Out[10]:

<matplotlib.image.AxesImage at 0x12546d1d0>

In [11]:

kenel = np.ones((10,10),np.uint8)

In [12]:

cvopen = cv.morphologyEx(open,cv.MORPH_OPEN,kenel)

In [13]:

plt.imshow(cvopen)

Out[13]:

<matplotlib.image.AxesImage at 0x1256044d0>

In [14]:

close = cv.imread("./image/letterclose.png")

In [15]:

plt.imshow(close)

Out[15]:

<matplotlib.image.AxesImage at 0x12587fdd0>

In [16]:

cvclose = cv.morphologyEx(close,cv.MORPH_CLOSE,kenel)

In [17]:

plt.imshow(cvclose)

Out[17]:

<matplotlib.image.AxesImage at 0x125a5dcd0>

黑帽和礼帽

In [18]:

top = cv.morphologyEx(open,cv.MORPH_TOPHAT,kenel)

In [19]:

plt.imshow(top)

Out[19]:

<matplotlib.image.AxesImage at 0x125c8da10>

In [20]:

black = cv.morphologyEx(close,cv.MORPH_BLACKHAT,kenel)

In [21]:

plt.imshow(black)

Out[21]:

<matplotlib.image.AxesImage at 0x125da5710>

In [22]:

black

Out[22]:

array([[[ 0,  0,  1],
        [96, 95, 95],
        [15, 17, 16],
        ...,
        [ 0,  1,  0],
        [ 1,  1,  1],
        [ 1,  1,  1]],

       [[ 1,  1,  1],
        [95, 95, 95],
        [16, 17, 16],
        ...,
        [ 1,  0,  1],
        [ 1,  1,  1],
        [ 1,  1,  0]],

       [[ 1,  0,  1],
        [95, 96, 95],
        [16, 17, 16],
        ...,
        [ 1,  1,  1],
        [ 1,  1,  1],
        [ 1,  0,  1]],

       ...,

       [[ 0,  1,  1],
        [95, 96, 95],
        [16, 15, 16],
        ...,
        [ 1,  0,  0],
        [ 1,  1,  1],
        [ 1,  1,  0]],

       [[ 1,  1,  1],
        [96, 95, 95],
        [16, 16, 16],
        ...,
        [ 0,  1,  1],
        [ 1,  1,  1],
        [ 0,  1,  1]],

       [[ 1,  1,  0],
        [96, 96, 95],
        [16, 16, 16],
        ...,
        [ 1,  1,  0],
        [ 1,  0,  1],
        [ 1,  0,  1]]], dtype=uint8)

あずにゃん

发布了416 篇原创文章 · 获赞 138 · 访问量 23万+

私信关注

OpenCV 图像处理：形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽

日萌社