图像处理与图像识别笔记（五）图像增强2

上一节中我们讲解了灰度变换的原理以及实现方法，本节我们讲解空域滤波增强，与灰度变换相同，空域滤波增强是一种空域处理的方法，不过空域滤波不是一种对点做处理的方法，而是利用相邻像素间的关系进行增强。空域滤波可以按照增强效果的不同分为平滑与锐化两类，又都可分为线性与非线性方法，线性滤波利用空域卷积来实现。接下来我们对平滑与锐化一一进行讲解。

一、图像平滑

图像平滑的目的是抑制和消除噪声，我们首先介绍一种线性平滑方法—邻域平均，平滑算子为

$A$ 表示已以 $(i,j)$ 为中心的邻域点的集合， $M$ 是 $A$ 中像素点的总数，邻域平均的实现代码如下：

import cv2
import numpy as np 
import matplotlib.pyplot as plt 
import pylab

img = cv2.imread('Lena.jpg',1)
kernel = np.ones((5,5),np.float32)/25	#5×5卷积核，邻域平均
res = cv2.filter2D(img,-1,kernel)
cv2.imshow('res',res)
cv2.waitKey(0)

opencv提供cv2.filter2D()函数来对图像进行卷积操作

dst = cv2.filter2D(src, ddepth, kernel[, dst[, anchor[, delta[, borderType]]]])
#dst：输出图像
#src：输入图像
#ddepth：输出图像深度，-1为与原图相同
#kernel：卷积核
#anchor：锚点，默认为(-1, -1)，指卷积核的中心点
#delta：输出结果时的附加值，默认为0
#borderType：边界模式，默认为BORDER_DEFAULT

我们采用不同大小的卷积核，依次对源图像进行卷积操作，结果如下，

卷积核半径越大，图像平滑的效果越明显，图像越来越模糊。
除了上述线性平滑方法之外，还有非线性平滑滤波器，包括中值滤波、百分比滤波、最大值滤波、最小值滤波，我们特别讲解一下中值滤波，中值滤波是将选定的奇数像素窗口内的各像素灰度按大小排队，用中间的灰度值代替窗口中原图像中间位置的像素，因此是一种非线性滤波。中值滤波对既保留边缘又要求去噪的任务很有用，尤其对椒盐噪声。
我们为Lena添加椒盐噪声，分别对其进行邻域平均与中值滤波，实现代码如下，

import cv2
import numpy as np 
import matplotlib.pyplot as plt 
import random
import pylab

def cvToplt(img):	#经过颜色转换后plt才能输出彩色图像
	b,g,r = cv2.split(img)  
	img = cv2.merge([r,g,b])
	return img  
	
def main():	
	img = cv2.imread('Lena.jpg',1)
	x,y,z = img.shape
	for i in range(5000):	#添加椒盐噪声
		row = random.randint(0,x-1)
		col = random.randint(0,y-1)
		img[row][col] = 255
	kernel = np.ones((5,5),np.float32)/25
	res = cv2.filter2D(img,-1,kernel)	#邻域平均
	res2=  cv2.medianBlur(img,5)	#中值滤波
	plt.subplot('131'),plt.imshow(cvToplt(img)),plt.title('Original')
	plt.subplot('132'),plt.imshow(cvToplt(res)),plt.title('mean')
	plt.subplot('133'),plt.imshow(cvToplt(res2)),plt.title('median')
	pylab.show()

if __name__ =="__main__":
	main()

结果如下，

经过对比发现，中值滤波的去噪效果好，且能够较好的保留图像边缘，邻域平均的平滑效果更好但去噪效果相对较差。

二、图像锐化

对正常的图像，通过锐化提取边缘、轮廓、线条等信息，供进一步识别。通过加重图像轮廓克服降质，以达到更好的视觉效果。常见的锐化算法包括Roberts算子、Sobel算子、Prewitt算子、拉普拉斯算子。

（1）基于一阶微分的图像增强—梯度法
我们把图像看成二维离散函数，为了提取图像的边缘，我们需要计算图像的梯度，梯度是方向导数取最大值的方向的向量，图像的边缘即为图像梯度较大的地方。
梯度用一个二维列向量来定义，

对于离散的二维图像，为计算方便，用绝对值代替幅值，用差分代替微分：
$（1）$
为了更好的理解，我们考虑一个3×3的图像区域，

$z$ 代表灰度级，由式 $（1）$ ，在点 $z_5$ 的 $▽f=|z_6-z_5|+|z_8-z_5|$

接下来我们来看Roberts交叉梯度， $z_5$ 的 $▽f=|z_9-z_5|+|z_8-z_6|$ ，我们发现计算方法发生了改变，可以理解为各种梯度算子就是不同的梯度计算方法，由于上述的梯度公式本来就是近似的，因此没有绝对的衡量方法，每种梯度算子的功效各不相同，像第一种方式关注的是图像水平方向和垂直方向上的梯度，而Roberts交叉梯度则关注的是斜对角方向上的梯度。
Roberts交叉梯度的计算由两个模板组成，第一个模板求得梯度的第一项，第二个模板求得梯度的第二项，然后求和，得到梯度。两个模板称为Roberts交叉梯度算子。

利用Roberts交叉梯度算子对图像进行处理，实现代码如下，

import cv2
import numpy as np 
import matplotlib.pyplot as plt 
import pylab

def main():
	img = cv2.imread('Lena.jpg',0)
	plt.imshow(img,'gray')
	kernel_1 = np.array([[-1,0],[0,1]])  #Roberts算子
	kernel_2 = np.array([[0,-1],[1,0]])
	res = cv2.filter2D(img,-1,kernel_1)
	res2 = cv2.filter2D(img,-1,kernel_2)
	plt.subplot(131),plt.imshow(res,'gray'),plt.title('1')
	plt.subplot(132),plt.imshow(res2,'gray'),plt.title('2')
	plt.subplot(133),plt.imshow(res+res2,'gray'),plt.title('1+2')
	pylab.show()

if __name__ == "__main__":
	main()

实验结果如下，
在这里插入图片描述

接下来我们学习Sobel梯度算子，Sobel是一种3×3的梯度模板， $▽f=|(z_7+2z_8+z_9)-(z_1+2z_2+z_3)|+|(z_3+2z_6+z_9)-(z_1+2z_4+z_7)|$ ，

Sobel关注的是水平方向上与垂直方向上的梯度，这点与Roberts不同，Sobel实现代码如下，

import cv2
import numpy as np 
import matplotlib.pyplot as plt 
import pylab

def main():
	img = cv2.imread('Lena.jpg',0)
	kernel_1 = np.array([[-1,-2,-1],[0,0,0],[1,2,1]])	#Sobel算子
	kernel_2 = np.array([[-1,0,1],[-2,0,2],[-1,0,1]])
	res = cv2.filter2D(img,-1,kernel_1)
	res2 = cv2.filter2D(img,-1,kernel_2)
	plt.subplot(131),plt.imshow(res,'gray'),plt.title('1')
	plt.subplot(132),plt.imshow(res2,'gray'),plt.title('2')
	plt.subplot(133),plt.imshow(res+res2,'gray'),plt.title('1+2')
	pylab.show()

if __name__ == "__main__":
	main()

实验结果如下，
在这里插入图片描述

（2）基于二阶微分的图像增强—拉普拉斯算子
对图像求二阶微分（近似），

在 $x$ 方向上，

在 $y$ 方向上，

则二阶微分为
$▽^2f = [f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]-4f(x,y)$
拉普拉斯算子模板为

由于拉普拉斯是一种微分算子，它的应用可增强图像中灰度突变的区域，减弱灰度的缓慢变化区域。
我们通常的做法是把原图像和拉普拉斯图像叠加在一起，这样既能保护拉式锐化效果，同时又能复原背景信息，具体的做法是：

当然，上述过程也可一步完成，更改拉普拉斯模板即可，如下（注意，此处模板中心只能为正，在以后的应用中，模板中心最好设为正值），

拉普拉斯算子实现代码如下，

import cv2
import numpy as np 
import matplotlib.pyplot as plt 
import pylab

def main():
	img = cv2.imread('Lena.jpg',0)
	kernel = np.array([[0,-1,0],[-1,5,-1],[0,-1,0]])	#拉普拉斯算子
	res = cv2.filter2D(img,-1,kernel)
	plt.subplot(121),plt.imshow(img,'gray'),plt.title('1')
	plt.subplot(122),plt.imshow(res,'gray'),plt.title('2')
	pylab.show()

if __name__ == "__main__":
	main()

实验结果如下，
在这里插入图片描述

总结一下，我们详细讲解了三种算子，Roberts算子、Sobel算子和拉式算子，前两种属于一阶算子，拉式算子属于二阶算子。通常我们在处理图像时，先会用拉式算子突出图像中的小细节，后用梯度法突出图像的边缘。

本节我们所讲属于图像增强技术中的空域滤波技术，即利用各种各样的模板（算子）对图像进行处理，后边我们会讲到基于频域的图像处理技术。

未完待续