Opencv之谱残差显著性检测

学习资料参考：

张平.《OpenCV算法精解：基于Python与C++》.[Z].北京.电子工业出版社.2017.

---

前言

在使用谱残差进行显著性检测之前，我们需要理解两个概念，分别是幅度谱和相位谱。
幅度谱和相位谱是将图片进行傅里叶正向变换之后得到的结果。幅度谱表示的是每个正弦波的最大幅度值，相位谱表示的是每个正弦波的相位（当然需要选定一个基点）。

---

原理

图像的傅里叶变换是由幅度谱和相位谱表示的，即通过幅度谱和相位谱可以还原图像。而显著性检测就是通过调整幅度谱和相位谱显示显著目标。

---

主要操作步骤

1. 计算图像的快速傅里叶变换矩阵$F$
2. 计算傅里叶变换的幅度谱的灰度级H1
3. 计算相位谱,根据相位谱计算对应的正弦谱和余弦谱
4. 对$H1$进行平滑得到$H2$
5. 计算谱残差。谱残差=$H2-H1$
6. 对谱残差矩阵的每一个值进行幂指数运算，得到H3
7. 将H3作为新的“幅度谱”，并结合原图的相位谱进行傅里叶逆变换，得到复数矩阵M。
8. 将M进行开方计算并进行高斯平滑和灰度级转换。

---

python实现

import cv2
import numpy as np
from matplotlib import pyplot as plt


# 读取图片
image = cv2.imread(r"C:\Users\1\Pictures\test2.jpg", 0)

# 快速傅里叶变换
r, c = image.shape[:2]
rPadded = cv2.getOptimalDFTSize(r)
cPadded = cv2.getOptimalDFTSize(c)
fft2 = np.zeros((rPadded, cPadded, 2), np.float32)
fft2[:r, :c, 0] = image
cv2.dft(fft2, fft2, cv2.DFT_COMPLEX_OUTPUT)

# 计算幅度谱
amplitude = cv2.magnitude(fft2[:, :, 0], fft2[:, :, 1])
# 幅度谱的灰度级
logAmplitude = np.log(np.abs(amplitude) + 1.0)

# 相位谱
phase = np.arctan2(fft2[:, :, 1], fft2[:, :, 0])
# 余弦谱
cosSpectrum = np.cos(phase)
# 正弦谱
sinSpectrum = np.sin(phase)

# 对幅度谱的灰度级进行均值平滑
meanLogAmplitude = cv2.boxFilter(logAmplitude, cv2.CV_32FC1, (3, 3))

# 计算谱残差
spectralResidual = logAmplitude - meanLogAmplitude

# 谱残差的幂指数运算(因为前面进行了对数取值运算)
expSR = np.exp(spectralResidual)
# 计算实部和虚部
real = expSR * cosSpectrum
imaginary = expSR * sinSpectrum

# 合并实部和虚部
com = np.zeros((real.shape[0], real.shape[1], 2), np.float32)
com[:, :, 0] = real
com[:, :, 1] = imaginary

# 进行傅里叶逆变换
saliencymap = cv2.dft(com, flags=cv2.DFT_COMPLEX_OUTPUT + cv2.DFT_INVERSE)
saliencymap = np.power(saliencymap[:, :, 0], 2) + np.power(saliencymap[:, :, 1], 2)
saliencymap = cv2.GaussianBlur(saliencymap, (11, 11), 2.5)
saliencymap = saliencymap / np.max(saliencymap)

# 伽马变换，增加对比度
saliencymap = np.power(saliencymap, 0.5)
saliencymap = np.round(saliencymap * 255)
saliencymap = saliencymap.astype(np.uint8)

# 显示图片的变化过程
plt.subplot(231), plt.imshow(image, 'gray'), plt.title('Original Image')
plt.axis('off')
plt.subplot(232), plt.imshow(logAmplitude, 'gray'), plt.title('logAmplitude Image')
plt.axis('off')
plt.subplot(233), plt.imshow(meanLogAmplitude, 'gray'), plt.title('mean Image')
plt.axis('off')
plt.subplot(234), plt.imshow(spectralResidual, 'gray'), plt.title('spectra Image')
plt.axis('off')
plt.subplot(235), plt.imshow(saliencymap, 'gray'), plt.title('saliencymap Image')
plt.axis('off')
plt.show()

运行结果