第8章：形态学操作

​ 形态学，即数学形态学，是图像处理过程中一个非常重要的研究方向。形态学的目的是提取图像中的分量信息，该分量信息通常对于表达和描绘图像的形状具有重要意义，通常是图像理解时所使用的最本质的形状特征。

​ 例如，我们手写一个阿拉伯数字，在识别时能够通过形态学运算得到其骨架信息，而在具体的图像运算时仅使用其骨架信息即可。

​ 形态学处理广泛应用于视觉检测、文字识别、医学图像识别、图像压缩编码等多个领域。

​ 形态学操作主要包括：腐蚀、膨胀、开运算、闭运算、形态梯度学运算、礼帽运算（顶帽运算）、黑帽运算等操作。腐蚀操作和膨胀操作是形态学运算的基础，将腐蚀和膨胀操作进行结合，就可以实现开运算和闭运算、形态学梯度运算、礼帽运算、黑帽运算、击中击不中等不同形式的运算。

(形态学操作的目的是为了提取图像中总要的分量信息)

one. 腐蚀操作：

​ 腐蚀操作是形态学最基本的操作之一，它能够将图像的边界点消除，使图像沿着边界向内收缩，也可以将小于指定结构体元素的部分去除。（结构体也成为了核）。

​ 腐蚀是用来"收缩"或者"细化二值图像中的前景，借此实现去除噪声、元素分割等功能的。

​ 在腐蚀过程中，通常使用一个结构元来逐个像素的扫描要被腐蚀的图像，并根据结构元和被腐蚀图像的关系来确定腐蚀结果。

​ 例如图中整幅图像的背景色是黑色的，前景对象是一个白色的圆形。图像左上角的深色小方块是遍历图像所使用的结构元。在腐蚀过程中，要将该结构元逐个像素的遍历整个图像，并根据结构元与被腐蚀图像的关系，来确定腐蚀结果图像中对应结构元中心点位置的像素点的像素值。

​ 注意：腐蚀操作等形态学操作都是逐个像素的来决定值的，每次判定的点都是与结构元中心点所对应的点。

下面两幅图像表示结构元与前景色的两种不同关系。根据这两种不同的关系来决定腐蚀结果图像中的结构元中心点所对应位置的像素点的像素值。

• 如果结构元完全处于前景图像中，就将结构元中心点所对应的腐蚀结果图像中的像素点的像素值处理为前景色（白色，像素点的像素值为1）
• 如果结构元未完全处于前景图像中（可能部分在，也可能完全不在）就将结构元中心点对应的腐蚀结果图形中的像素点的像素值处理为背景色（黑色，像素点的像素值为0）。

腐蚀的结果就是前景色白色的圆直径变小。结构元也被称为核。

腐蚀函数：

在OpenCV中，使用cv2.erode()函数来实现腐蚀操作，其语法格式为：

dst = cv2.erode(src, kernel[, anchor[, iterations[, borderType[, borderValue]]]])

• dst：腐蚀后输出的结果图像，该图像和原始图像具有同样的类型和大小。

• src：原图像，即需要进行腐蚀的原始图像，图像的通道数可以是任意的。但是要求图像的深度必须是CV_8U、CV_16U、CV_16S、CV_32F、CV_64F中的一种。

• kernel：代表腐蚀操作时所采用的结构类型。它可以自定义生成，也可以通过函数从cv2.getStructutingElement()生成。

• anchor：代表element结构中锚点的位置。该值默认为(-1, -1)，在核中心的位置。

• iterations：腐蚀操作迭代的次数，该值默认为1，即只进行一次腐蚀操作。

• borderType：代表边界样式，一般采用其默认值BORDER_CONSTANT。该项的具体值如下所示

  

• borderValue：边界值，一般采用默认值。在C++中提供了函数morphologyDefaultBorderValue()来返回腐蚀和膨胀的"魔力(magic)"边界值，python不支持该函数。

示例1:

import cv2
import numpy as np

img = cv2.imread('../erode.bmp')
kernel = np.ones((5, 5), np.uint8)
rst = cv2.erode(img, kernel)
cv2.imshow('img', img)
cv2.imshow('rst', rst)
cv2.waitKey()
cv2.destroyAllWindows()

示例2：修改腐蚀迭代次数观察

import cv2
import numpy as np

img = cv2.imread('../erode.bmp')
kernel = np.ones((5, 5), np.uint8)
rst = cv2.erode(img, kernel, iterations=5)
cv2.imshow('img', img)
cv2.imshow('rst', rst)
cv2.waitKey()
cv2.destroyAllWindows()

two. 膨胀：

​ 膨胀操作是形态学中另一种基本的操作。**膨胀操作和腐蚀操作的作用是相反的，膨胀操作能够对图像的边界进行扩张。**膨胀操作将背景中与前景对象接触到的像素点合并到前景对象中，从而实现将图像边界点向外扩张。如果图像内两个对象距离较近，那么在膨胀的过程中，两个对象可能会连通在一起。膨胀对填补图像分割后图像内所存在的空白有很大帮助。

​ 同腐蚀的过程一样，在膨胀过程中，也是使用一个结构元（核）来逐个像素扫描被膨胀的图像，并根据结构元和被膨胀图像的关系来确定膨胀结果。

如上图所示：

• 如果结构元中任意一点处于前景图像中，就将膨胀结果图像中对应像素点处理为前景色。
• 如果结构元完全处于背景图像外，就将膨胀结果图像中对应像素点处理为背景色。

膨胀操作：

在Opencv中，采用函数cv2.dilate()实现对图像的膨胀操作，其语法结构为：

dst=cv2.dilate（src,kernel[,anchor[,iterations[,borderType[,borderValue]]]]）

• dst：膨胀后输出的结果图像，该图像和原始图像具有同样的类型和大小。
• src：原图像，即需要进行膨胀的原始图像，图像的通道数可以是任意的。但是要求图像的深度必须是CV_8U、CV_16U、CV_16S、CV_32F、CV_64F中的一种。
• kernel：代表膨胀操作时所采用的结构类型。它可以自定义生成，也可以通过函数从cv2.getStructutingElement()生成。

参数kernel、anchor、iterations、borderType、borderValue与函数cv2.erode（）内相应参数的含义一致。

示例1：

import cv2
import numpy as np

img = np.zeros((5, 5), np.uint8)
img[2:3, 1:4] = 1
kernel = np.ones((3, 1), np.uint8)
dilation = cv2.dilate(img, kernel)
print('img=\n', img)
print('kernel=\n', kernel)
print('dilation=\n', dilation)

# 输入结果
img=
 [[0 0 0 0 0]
 [0 0 0 0 0]
 [0 1 1 1 0]
 [0 0 0 0 0]
 [0 0 0 0 0]]
kernel=
 [[1]
 [1]
 [1]]
dilation=
 [[0 0 0 0 0]
 [0 1 1 1 0]
 [0 1 1 1 0]
 [0 1 1 1 0]
 [0 0 0 0 0]]

示例2：

import cv2
import numpy as np

img = cv2.imread('../dilate.bmp')
kernel = np.ones((3, 3), np.uint8)
rst = cv2.dilate(img, kernel, iterations=9)
cv2.imshow('img', img)
cv2.imshow('rst', rst)
cv2.waitKey()
cv2.destroyAllWindows()

three. 通用形态学函数：

​ 腐蚀操作和膨胀操作是形态学运算的基础，将腐蚀和膨胀操作进行组合，就可以实现开运算、闭运算（关运算）、形态学梯度（Morphological Gradient）运算、礼帽运算（顶帽运算）、黑帽运算、击中击不中等多种不同形式的运算。

OpenCV提供了函数cv2.morphologyEx（）来实现上述形态学运算，其语法结构如下：

dst=cv2.morphologyEx（src,op,kernel[,anchor[,iterations[,borderType[,borderValue]]]]]）
式中：

• dst：代表经过形态学处理后所输出的目标图像，该图像和原始图像具有同样的类型和大小。

• src：代表需要进行形态学操作的原始图像。图像的通道数可以是任意的，但是要求图像的深度必须是CV_8U、CV_16U、CV_16S、CV_32F、CV_64F中的一种。

• op：代表操作类型，如下表所示。各种形态学运算的操作规则，均是将腐蚀和膨胀操作进行组合而得到的。

  

• 参数kernel、anchor、iterations、borderType、borderValue与函数cv2.erode（）内相应参数的含义一致。

four. 开运算：

开运算进行的操作是先将图像腐蚀，再对腐蚀的结果进行膨胀。开运算可以用于去噪、计数等。

例如，下图中，通过先腐蚀后膨胀的开运算操作实现了去噪，其中：

• 左图是原始图像。
• 中间的图是对原始图像进行腐蚀的结果。
• 右图是对腐蚀后的图像进行膨胀的结果，即对原始图像进行开运算的处理结果。

除此以外，开运算还可以用于计数。例如，在对下图的区域进行计数前，可以利用开运算将连接在一起的不同区域划分开，其中：

• 左图是原始图像。
• 中间的图是对原始图像进行腐蚀的结果。
• 右图是对腐蚀后的图像进行膨胀的结果，即对原始图像进行开运算的处理结果。

通过将函数cv2.morphologyEx（）中操作类型参数op设置为“cv2.MORPH_OPEN”，可以实现开运算。其语法结构如下：opening=cv2.morphologyEx（img,cv2.MORPH_OPEN,kernel）

示例：

import cv2
import numpy as np

img1 = cv2.imread('../erode.bmp')
img2 = cv2.imread('../cube.bmp')

k = np.ones((20, 20), np.uint8)
rst1 = cv2.morphologyEx(img1, cv2.MORPH_OPEN, k)
rst2 = cv2.morphologyEx(img2, cv2.MORPH_OPEN, k)

cv2.imshow('img1', img1)
cv2.imshow('img2', img2)
cv2.imshow('rst1', rst1)
cv2.imshow('rst2', rst2)
cv2.waitKey()
cv2.destroyAllWindows()

five. 闭运算：

​ 闭运算是先膨胀、后腐蚀的运算，它有助于关闭前景物体内部的小孔，或去除物体上的小黑点，还可以将不同的前景图像进行连接。

例如，通过先膨胀后腐蚀的闭运算去除了原始图像内部的小孔（内部闭合的闭运算），其中：

• 左图是原始图像。

• 中间的图是对原始图像进行膨胀的结果。

• 右图是对膨胀后的图像进行腐蚀的结果，即对原始图像进行闭运算的结果。

  

除此以外，闭运算还可以实现前景图像的连接。例如，利用闭运算将原本独立的两部分前景图像连接在一起，其中：

• 左图是原始图像。
• 中间的图是对原始图像进行膨胀的结果。
• 右图是对膨胀后的图像进行腐蚀的结果，即对原始图像进行闭运算的结果。

示例：

import cv2
import numpy as np

k = np.ones((10, 10), np.uint8)
rst1 = cv2.morphologyEx(img1, cv2.MORPH_CLOSE, k)
cv2.imshow('img1', img1)
cv2.imshow('rst1', rst1)
cv2.waitKey()
cv2.destroyAllWindows()

six. 形态学梯度运算：

​ 形态学梯度运算是用图像的膨胀图像减腐蚀图像的操作，该操作可以获取原始图像中前景图像的边缘。

例如：

示例：

import cv2
import numpy as np

img = cv2.imread('../erode.bmp')

k = np.ones((5, 5), np.uint8)
rst = cv2.morphologyEx(img, cv2.MORPH_GRADIENT, k)
cv2.imshow('img', img)
cv2.imshow('rst', rst)
cv2.waitKey()
cv2.destroyAllWindows()

seven. 礼帽运算：

礼帽运算是用原始图像减去其开运算图像的操作。礼帽运算能够获取图像的噪声信息，或者得到比原始图像的边缘更亮的边缘信息。

例如

• 左图是原始图像。
• 中间的图是开运算图像。
• 右图是原始图像减开运算图像所得到的礼帽图像。

示例：

import cv2
import numpy as np

img1 = cv2.imread('../erode.bmp')
img2 = cv2.imread('../lena.bmp')

k = np.ones((5, 5), np.uint8)
rst1 = cv2.morphologyEx(img1, cv2.MORPH_TOPHAT, k)
rst2 = cv2.morphologyEx(img2, cv2.MORPH_TOPHAT, k)
cv2.imshow('img1', img1)
cv2.imshow('img2', img2)
cv2.imshow('rst1', rst1)
cv2.imshow('rst2', rst2)
cv2.waitKey()
cv2.destroyAllWindows()

eight. 黑帽运算：

​ 黑帽运算是用闭运算图像减去原始图像的操作。黑帽运算能够获取图像内部的小孔，或前景色中的小黑点，或者得到比原始图像的边缘更暗的边缘部分。

例如：

• 左图是原始图像。
• 中间的图是闭运算图像。
• 右图是使用闭运算图像减原始图像所得到的黑帽图像。

示例：

import cv2
import numpy as np

img1 = cv2.imread('../noise2.bmp')
img2 = cv2.imread('../lena.bmp')

k = np.ones((10, 10), np.uint8)
rst1 = cv2.morphologyEx(img1, cv2.MORPH_BLACKHAT, k)
rst2 = cv2.morphologyEx(img2, cv2.MORPH_BLACKHAT, k)
cv2.imshow('img1', img1)
cv2.imshow('img2', img2)
cv2.imshow('rst1', rst1)
cv2.imshow('rst2', rst2)
cv2.waitKey()
cv2.destroyAllWindows()

night. 核函数：

​ 在进行形态学操作时，必须使用一个特定的核（结构元）。该核可以自定义生成，也可以通过函数 cv2.getStructuringElement（）构造。函数 cv2.getStructuringElement（）能够构造并返回一个用于形态学处理所使用的结构元素。该函数的语法格式为：

• retval=cv2.getStructuringElement（shape,ksize[,anchor]）

该函数用来返回一个用于形态学操作的指定大小和形状的结构元素。函数中的参数含义如下。

• shape代表形状类型，其可能的取值如表所示。

• ksize 代表结构元素的大小。
• anchor 代表结构元素中的锚点位置。默认的值是（-1,-1），是形状的中心。只有十字星型的形状与锚点位置紧密相关。在其他情况下，锚点位置仅用于形态学运算结果的调整。

当然，除了使用该函数，用户也可以自己构建任意二进制掩码作为形态学操作中所使用的结构元素。

示例1：使用函数cv2.getStructuringElement（）生成不同结构的核。

import cv2

k1 = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
k2 = cv2.getStructuringElement(cv2.MORPH_CROSS, (5, 5))
k3 = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))

print('k1=\n', k1)
print('k2=\n', k2)
print('k3=\n', k3)


# 输出结果
k1=
 [[1 1 1 1 1]
 [1 1 1 1 1]
 [1 1 1 1 1]
 [1 1 1 1 1]
 [1 1 1 1 1]]
k2=
 [[0 0 1 0 0]
 [0 0 1 0 0]
 [1 1 1 1 1]
 [0 0 1 0 0]
 [0 0 1 0 0]]
k3=
 [[0 0 1 0 0]
 [1 1 1 1 1]
 [1 1 1 1 1]
 [1 1 1 1 1]
 [0 0 1 0 0]]

示例2：使用不同的核进行形态学操作

import cv2

img = cv2.imread('../round.bmp')

k1 = cv2.getStructuringElement(cv2.MORPH_RECT, (25, 25))
k2 = cv2.getStructuringElement(cv2.MORPH_CROSS, (25, 25))
k3 = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (25, 25))

rst1 = cv2.erode(img, k1, iterations=3)
rst2 = cv2.erode(img, k2, iterations=3)
rst3 = cv2.erode(img, k3, iterations=3)
cv2.imshow('img', img)
cv2.imshow('rst1', rst1)
cv2.imshow('rst2', rst2)
cv2.imshow('rst3', rst3)
cv2.waitKey()
cv2.destroyAllWindows()