图像预处理

1. 像素亮度变换

像素亮度变换修改像素的亮度，变换只取决与各像素自身的性质。

1.1 位置相关的亮度校正

在理想的情况下，图像获取和数字化设备的灵敏度不应该与图像的位置有关，实际情况下是不对的。光线离光轴越远透镜对它削弱越多。

如果退化具有系统性，就可以通过亮度校正加以抑制。一个乘性的错误系数 $e(i,j)$ 描述相对于理想的等同传递函数的变化。假设 $g(i,j)$ 是原来没有退化的图像， $f(i,j)$ 是含有退化的图像 $f(i,j) = e(i,j)g(i,j)$

如果抓取到已知亮度的一幅参考图像，最简单的情况是具有不变的亮度c，则可以获得错误系数 $e(i,j)$ .退化结果是图像 $f_c(i,j)$ 。抑制 $g(i,j) = \frac{f(i.j)}{e(i,j)} = \frac{cf(i,j)}{f_c(i,j)}$

这种方法隐含的假设了变换的线性。

1.2 灰度级变换

灰度级变换不依赖于像素在图像中的位置。一个变换 $\mathcal{T}$ ，将原来范围 $[p_0,p_k]$ 内的亮度 $p$ 变换为一个新范围 $[q_0,q_k]$ 内的亮度 $q$ 。 $q = \mathcal{T}(p)$ 。

常见的灰度级变换：分段线性函数 $a$ 增强了图像在亮度 $p_1和p_2$ 之间的图像对比度。函数 $b$ 被称为作亮度阈值化(brightness thresholding)，结果是黑白(black-and-white)图像。

直方图均衡化(histogram equalization)： 创建一幅在整个亮度范围内具有相同分布的亮度图像。直方图均衡化增强了靠近直方图极大值附近的亮度的对比度，减少了极小值附近的对比度。

输入的直方图用 $H(p)$ 表示，输入的灰度级范围是 $[p_0,p_k]$ ，找到一个单调的像素亮度变换 $q = \mathcal{T}(p)$ 使输出的直方图 $G(q)$ 在整个输出亮度范围 $[q_0,q_k]$ 是均匀的。
直方图可以看为离散的概率密度函数。变换 $\mathcal{T}$ 的单调意味着 $\sum\limits_{i=0}^k G(q_i) = \sum\limits_{i=0}^k H(p_i)$
假设图像有 $N$ 行和列，那么均衡化的直方图 $G(q)$ 就对应着均衡的概率密度函数 $f$ ，其函数值是一个常数 $f=\frac{N^2}{q_k-q_0}$
连续密度函数： $N^2\int_{q_0}^q\frac{1}{q_k-q_0}ds=\frac{N^2(q-q_0)}{q_k-q_0}=\int_{p_0}^pH(s)ds \rightarrow q=\mathcal{T}(p)=\frac{q_k-q_0}{N^2}\int_{p_0}^pH(s)ds+q_0$
离散的情况： $q = \mathcal{T}(p)=\frac{q_k-q_0}{N^2}\sum\limits_{i=p_0}^p H(s)+q_0$

算法：直方图均衡化：

对于有 $G$ 个灰度级（一般256）大小为 $M\times N$ 的图像，创建一个长为 $G$ 的数组H并初始化为0。
形成图像直方图：扫描每个像素，增加相应的H成员，当像素 $p$ 具有亮度 $g_p$ 时，做 $H[g_p]=H[g_p]+1$ 。
形成累积的直方图 $H_c$ ： $H_c[0] = H[0]\quad H_c[p] = H_c[p-1]+H[p],p=1,2,\cdots,G-1$
置 $T[p]=round(\frac{G-1}{MN}H_c[p])$ （这一步骤构造一个是NM倍数的与单调增加的 $H_c$ 中的值对应的查找表，有助于提高实现的效率）。
重新扫描图像，写一个具有灰度级 $g_q$ 的输出图像，设置 $g_q = T[g_q]$ 。

2 几何变换

几何变换是一个矢量函数 $T$ ，将一个像素 $(x,y)$ 映射到一个新位置 $(x^{'},y^{'})$ 。T定义了两个分量公式 $x^{'} = T_x(x,y)\quad y^{'}=T_y(x,y)$

步骤：

像素坐标变换(pixel co-ordinate transformation)
确定亮度值。通常用邻域中的几个点的亮度插值(interpolation)计算的。

2.1 像素坐标变换

坐标：通常用多项式公式来近似 $x^{'}=\sum\limits_{r =0}^m\sum\limits_{k=0}^{m-r}a_{rk}x^ry^k\quad y^{'} = \sum\limits_{r =0}^m\sum\limits_{k =0}^{m-r} b_{rk}x^ry^k$

这个变换对于系数 $a_{rk},b_{rk}$ 来说是线性的，因此如果已知在两幅图像中的对应点对 $(x,y),(x^{'},y^{'})$ ，就可以通过求解线性方程组的方程确定 $a_{rk},b_{rk}$ ，一般使用的点数超过系数以便保证稳定性，常使用均方方法(mean square method)

在几何变换依赖图像中位置的变化并不快的情况下，使用低阶数的多项式近似，m=2或m=3，至少需要6或10个对应点对。对应点在图像中的分布应该能够表达几何变换，通常他们是均匀分布。阶数越高，几何变换对应于点对的分布就越敏感。

双线性变换(bilinear transform)

$x^{'} = a_0+a_1x+a_2y+a_3xy\quad y^{'} =b_0+b_1x+b_2y+b_3xy$

仿射变换(affine transformation)

$x^{'} = a_0+a_1x+a_2y\quad y^{'} =b_0+b_1x+b_2y$ 至少需要3对点对。

包含：旋转，平移，变尺度，和歪斜。

雅可比(Jacobian)

$J$ 提供了坐标系如何变化的信息。 $J = |\frac{\partial(x^{'},y^{'})}{\partial(x,y)}|=\begin{matrix} \frac{\partial x^{'}}{\partial x} &\frac{\partial x^{'}}{\partial y} \\ \frac{\partial y^{'}}{\partial x} &\frac{\partial y^{'}}{\partial y} \end{matrix}$

如果变换是奇异的 $J = 0$ 。如果图像的面积在变换下具有不变性 $J=1$ 。

双线性变换的雅可比： $J =a_1b_2-a_2b_1+(a_1b_3-a_3b_1)x+(a_3b_2-a_2b_3)y$

仿射变换： $J = a_1b_2-a_2b_1$

重要几何变换

旋转(rotation)：绕原点旋转角度 $\phi$ : $\begin{cases} x^{'} = xcos\phi +ysin\phi \\ y^{'} = -xsin\phi + ycos\phi \\ J=1\end{cases}$
变尺度(change of scale),x轴是 $a$ ， $y$ 轴是 $b$ $\begin{cases}x^{'} = ax \\ y^{'} = by \\ J =ab\end{cases}$
歪斜(斜切)(skewing),歪斜角度 $\phi$ : $\begin{cases}x^{'} = x+ytan\phi \\ y^{'} = y \\ J=1\end{cases}$

2.2 亮度插值

亮度插值影响着图像的品质，插值越简单，在几何和光度测量方向精度的损失越大。常用：最近邻，线性，双三次(bi-cubic)。

亮度插值问题一般用对偶的方法来表达，确定对应于输出图像离散光栅点在输入图像中原来点的亮度 $(x,y) = T^{-1}(x^{'},y^{'})$

记亮度插值的结果为 $f_n(x,y)$ ,其中n区分不同的插值方法。卷积公式表示： $f_n(x,y) = \sum\limits_{l=-\infty}^{\infty} \sum\limits_{k=-\infty}^{\infty}g_s(l\Delta x,k\Delta y)h_n(x-l\Delta x,y-k\Delta y)$

$h_n$ 为插值核(interpolation kernel)

插值方法

最近邻插值(neartest-neighborhood interpolation)：复制点 $(x,y)$ 以在离散光栅中离它最近的点 $g$ 的亮度数值。

$f_1(x,y) = g_s[round(x),round(y)]$

定位误差最大为半个像素，在变换后可能会呈现阶梯状。
线性插值(linear interpolation)：考虑点 $(x,y)$ 的四个相邻点。假设亮度函数在这个邻域内是线性的。

公式： $f_2(x,y) = (1-a)(1-b)g_s(l,k)+a(1-b)g_s(l+1,k)+b(1-a)g_s(l,k+1)+abg_s(l+1,k+1)$
- $l = floor(x)，a = x-l$
- $k = fllor(y)，b = y-k$
线性插值可能会引起小的分辨率的降低和模糊。减轻了在最近邻插值中的阶梯状直边界的问题。
双三次插值(bi-cubic interpolation)：用双三次多项式表面局部地近似亮度函数来改善其模型，用16个相邻的点作插值。

一维的插值核(墨西哥草帽Mexican hat)： $h_3 = \begin{cases}1-2|x|^2+|x|^3 & 当0\le|x|\le 1 \\ 4-8|x|+5|x|^2-|x|^3 & 当1\le |x|\le 2 \\ 0 & 其他\end{cases}$

双三次插值免除了最近邻插值的阶梯状边界问题，也解决了线性插值的模糊问题。双三次插值通常用于光栅显示中。

3 局部处理

使用输入图像中一个像素的小邻域来产生输出图像中心新的亮度数值的方法。也叫滤波(filtration/filtering)。

处理：

第一组：平滑(smoothing)：目的在于抑制噪声或其他小的波动，等同于傅里叶变换域抑制高频部分。平滑也会模糊所有的含有图像重要的信息。
第二组：梯度算子(gredient operators)基于图像函数的局部导数。导数在图像函数快速变化的位置较大，梯度算子的目的是在图像中显现这些位置。梯度算子在傅里叶变换域有抑制低频部分的类似效应。噪声本质上通常是高频的。梯度算子会抬高噪声水平。

变换：

线性（linear）

线性操作中输出图像像素 $g(i,j)$ 的计算结果是输入图像像素 $f(i,j)$ 的一个局部邻域 $\mathcal{O}$ 的亮度的线性组合，邻域 $\mathcal{O}$ 像素的贡献用系数 $h$ 加权： $f(i,j) = \sum\limits_{(m,n)\in\mathcal{O}}\sum\limits h(i-m,j-n)g(m,n)$

以 $h$ 为核的离散卷积等价，称 $h$ 为卷积掩膜(convolution mask)
非线性(non-linear)

3.1 图像平滑

图像平滑是一类局部预处理方法，主要用于抑制图像噪声，利用图像数据的冗余性。新值的计算是基于某个邻域 $\mathcal{O}$ 中亮度数值的平均。

平滑有造成图像中明显边缘变得模糊的问题，集中考虑能够保持边缘（edge preserving）的平滑方法。仅使用邻域中与被处理的点有相似性质的那些点作平均。

平均（averaging）噪声抑制的统计原理

假设：每个像素处的噪声数值 $v$ 是独立分布的随机变量。具有0均值和标准差 $\sigma$ ，我们可以在相同条件下抓取同一场景的静态图像 $n$ 次，对于每幅抓取图像，都有特定的像素 $g,i = 1,2,\cdots,n$ ，其中下表 $i$ 表示像素值 $g_i$ 属于那幅图像。

$\frac{g_1+\cdots+g_n}{n} + \frac{v_1+\cdots+v_n}{n}$ 第二项描述噪声的影响。它仍是一个随机变量，具有0均值和标准差 $\frac{\sigma}{\sqrt{n}}$ 。

平滑在没有模糊图像的基础上公式： $f(i,j) = \frac{1}{n}\sum\limits_{k=1}^ng_k(i,j)$

特性：

样本均值分布的均值等于数据的均值
样本均值分布的方差小于原有数据的方差。选取了n个样本，数据的标准差为 $\frac{\sigma}{\sqrt{n}}$
若原来的分布为正态分布，样本均值分布也是正态分布。所有的均值都会收敛于一个正态分布(中心极限定理 central limit theorem)
通过置信区间，可以表示对描述数据的参数的可信程度。

可分离滤波器(separable filters)：卷积滤波器中一类重要的特殊滤波器。在二维分离意味着，卷积核可以分解成两个一维向量的乘积。

$g(x,y) =\sum\limits_{m=-N}^N\sum\limits_{n =-N}^N h(m,n)f(x+m,y+n) = \sum\limits_{m=-N}^Nh_1(m)\sum\limits_{n=-N}^Nh_2(n)f(x+m,y+n)$

使用旋转掩膜的平均(averaging using a rotating mask)

非线性的平滑方法，通过搜索当前像素邻域的同态部分，可以避免边缘模糊。结果实际是锐化图像。

亮度的平均只在这个区域计算，一个亮度散布 $\sigma^2$ 用作区域的一致性度量。

设区域 $R$ 的像素数目是 $n$ 且输入图像是 $g$ 。

$\sigma^2= \frac{1}{n}\{\sum\limits_{(i,j)\in R}[g(i,j)-\frac{1}{n}\sum\limits_{(i,j)\in R}g(i,j)]^2\}$

化简： $\sigma^2 = \frac{1}{n}\sum\limits_{(i,j)\in R}\{ [g(i,j)]^2-2g(i,j)\frac{\sum\limits_{(i,j)\in R}g(i,j)}{n}+[\frac{\sum\limits_{(i,j)\in R}g(i,j)}{n}]^2\} =\frac{1}{n}\{\sum\limits_{(i,j)\in R}[g(i,j)]^2-\frac{[\sum\limits_{(i,j)\in R}g(i,j)]^2}{n}\}$

算法：使用旋转掩膜的平滑

考虑图像的每个像素 $(i,j)$ 。
计算像素 $(i,j)$ 所有可能的旋转掩膜的散布。
选择具有最小散布的掩膜
将所选掩膜内的平均亮度赋给输出图像中的像素 $(i,j)$ 。

中值滤波(median filtering)

中值滤波是一个减少边缘模糊的非线性平滑方法。思想是：邻域中亮度的中值代替图像当前的点。

算法：高效的中值滤波

置 $th = \frac{mn}{2}$ ，如果 $m$ 和 $n$ 都为奇数，则对 $th$ 取整。可以避免不必要的浮点数运算。
将窗口移至一个新行的开始，对其内容排序。建立窗口像素的直方图 $H$ ，确定其中值 $m$ ，计算亮度小于或等于 $m$ 的像素数目 $n_m$ 。
对于最左列亮度是 $p_g$ 的每个像素 $p$ ，做 $H[p_g] = H[p_g]+1$ ，进一步，如果 $p_g<m$ ，置 $n_m = n_m-1$
将窗口右移一列，对于最右列亮度是 $p_g$ 的每个像素 $p$ ，做 $H[p_g]=H[p_g]+1$ ，如果 $p_g<m$ ，置 $n_m=n_m+1$
如果 $n_m =t$ 则跳转至步骤8
如果 $n_m>t$ 则跳转至步骤7

重复 $m = m+1\quad n_m=n_m+H[m]$

直到 $n_m\ge t$ ，则跳转至步骤8
(此时有 $n_m>t$ )。重复 $m = m -1 \quad n_m = n_m-H[m]$ ，直至 $n_m\le t$ 。
如果窗口的右侧列不是图像的右边界。跳转至步骤3
如果窗口的底行不是图像的下边界，跳转至步骤2。

缺点：矩形邻域中值滤波的主要缺点是图像中的细线和显著角点会遭到破坏，使用保持水平/垂直的线条可以避免。

中值平滑是更一般的等级滤波(rank filtering) ：将某个邻域中的像素排成序列。预处理的结果是在该序列上的某个统计值，中值是其可能之一。

统计排序滤波(order statistics OS) ：邻域中的数值仍然被排成序列，一个新的数值是该序列数值的线性组合。

非线性均值滤波(non-linear mean filter)

定义： $f(m,n) = u^{-1}\{\frac{\sum\limits_{(i,j)\in \mathcal{O}}a(i,j)u[g(i,j)]}{\sum\limits_{(i,j)\in\mathcal{O}}a(i,j)}\}$

$f(m,n)$ 是滤波的结果
$g(i,j)$ 是输入图像的像素
$\mathcal{O}$ 是当前像素 $(m,n)$ 的一个局部邻域
单变量函数 $u$ 存在逆函数 $u^{-1}$
$a(i,j)$ 是加权系数

如果权 $a(i,j)$ 是常数，滤波器被称为同态的(homonorphic)。同态滤波器

算术均值 $u(g)=g$
调和均值 $u(g)=\frac{1}{g}$
几何均值 $u(h) = log \ g$

3.2 边缘检测算子

边缘检测算子(edge detectors)是一组用于在亮度函数中定位变化的非常重要的局部图像预处理方法，边缘是亮度函数发生急剧变化的位置。

边缘是赋给单个像素的性质，用图像函数在该像素一个邻域处的特性来计算。它是一个具有幅值(强度magnitude)和方向(direction)的矢量(vector variable)。

梯度的幅值|grad g(x,y)|和方向 $\psi$

$|grad\ g(x,y)| = \sqrt{(\frac{\partial g}{\partial x})^2+(\frac{\partial g}{\partial y})^2}$

$\psi = arg(\frac{\partial g}{\partial x},\frac{\partial g}{\partial y})$

Laplacian 算子

我们只对边缘幅度有兴趣而不管其方向。Laplacian 是各向同性的，因此对图像中的旋转有不变性。

定义： $\nabla^2g(x,y) = \frac{\partial^2g(x,y)}{\partial x^2}+\frac{\partial g^2(x,y)}{\partial y^2}$

图像锐化(sharpening)

目标是使边缘更陡峭，锐化图像是供人观察的。

输出图像 $f(i,j) = g(i,j)-CS(i,j)$ C反映锐化强度正系数，S(i,j)是图像函数蜕化程度的度量。

非锐化屏蔽 (unsharp masking)：常用于印刷行业。一个与非锐化图像成比例的信息必须从原始图像中减掉。

差分(differences)

图像 $g$ 在纵向(固定i)和横向(固定j)的一阶差分如下

$\Delta_ig(i,j)=g(i,j)-g(i-n,j)\quad \Delta_jg(i,j)=g(i,j)-g(i,j-n)$

差分的对称表达： $\Delta_ig(i,j) = g(i+n,j)-g(i-n,j)\quad \Delta_jg(i,j) = g(i,j+n)-g(i,j-n)$

梯度算子分类：

使用差分近似函数图像导数的算子。有些是具有旋转不变性的。
基于图像函数二阶导数过零点的算子
试图将图像函数与边缘的参数模型匹配算子

算子

Roberts算子：只使用当前像素 $2\times 2$ 邻域

卷积掩膜是 $h_1 = \begin{bmatrix} 1 & 0 \\ 0& -1\end{bmatrix}\quad h_2 = \begin{bmatrix}0& 1 \\ -1&0\end{bmatrix}$

边缘的幅值计算如下： $|g(i,j)-g(i+1,j+1)|+|g(i,j+1)-g(i+1,j)|$

主要的缺点是对噪声的高度敏感性。

Laplace 算子：通常使用 $3\times 3$ 的掩膜 $h$ ，对于4-邻接和8-邻接分别定义

$h = \begin{bmatrix}0&1&0\\1&-4&1\\ 0&1&0\end{bmatrix}\quad h =\begin{bmatrix}1&1&1\\1&-8&1\\1&1&1\end{bmatrix}$

有时强调中心像素或其邻接性的Lapacian算子，这种近似不再具有旋转不变性。

$h =\begin{bmatrix}2&-1&2\\-1&-4&-1\\2&-1&2\end{bmatrix}\quad h=\begin{bmatrix}-1&2&-1\\2&-8&2\\-1&2&-1\end{bmatrix}$

缺点是：它对图像中的某些边缘产生双重响应。

Prewitt算子
对于 $3\times3$ 的卷积掩膜，在8个可能的方向上估计梯度，具有最大幅值的卷积给出梯度方向。更大的掩膜是可能的。

近似图像函数一阶导数的算子由于具有确定梯度方向的能力，有时称作罗盘算子(compass operators)

h_{1} = [\begin{matrix} 1 & 1 & 1 \\ 0 & 0 & 0 \\ - 1 & - 1 & - 1 \end{matrix}] h_{2} = [\begin{matrix} 0 & 1 & 1 \\ - 1 & 0 & 1 \\ - 1 & - 1 & 0 \end{matrix}] h_{3} = [\begin{matrix} - 1 & 0 & 1 \\ - 1 & 0 & 1 \\ - 1 & 0 & 1 \end{matrix}]

$h_1 = \begin{bmatrix}1&1&1\\0&0&0\\-1&-1&-1\end{bmatrix}\quad h_2=\begin{bmatrix}0&1&1\\-1&0&1\\-1&-1&0\end{bmatrix}\quad h_3=\begin{bmatrix}-1&0&1\\-1&0&1\\-1&0&1\end{bmatrix}$
梯度方向由具有最大响应的掩膜给出

Sobel算子

h_{1} = [\begin{matrix} 1 & 2 & 1 \\ 0 & 0 & 0 \\ - 1 & - 2 & - 1 \end{matrix}] h_{2} = [\begin{matrix} 0 & 1 & 2 \\ - 1 & 0 & 1 \\ - 2 & - 1 & 0 \end{matrix}] h_{3} = [\begin{matrix} - 1 & 0 & 1 \\ - 2 & 0 & 2 \\ - 1 & 0 & 1 \end{matrix}]

$h_1 = \begin{bmatrix}1&2&1\\0&0&0\\-1&-2&-1\end{bmatrix}\quad h_2=\begin{bmatrix}0&1&2\\-1&0&1\\-2&-1&0\end{bmatrix}\quad h_3=\begin{bmatrix}-1&0&1\\-2&0&2\\-1&0&1\end{bmatrix}$
Sobel 算子是通常用于水平和垂直边缘的一个简单检测子，这时使用

h_{1}

$h_1$ 和

h_{3}

$h_3$ 。如果

h_{1}

$h_1$ 的响应是

x

$x$ ，

h_{3}

$h_3$ 的响应是

y

$y$ ，可以得到强度（幅值）

\sqrt{x^{2} + y^{2}} 或 | x | + | y |

$\sqrt{x^2+y^2}\quad 或\quad |x|+|y|$
方向是

t a n^{- 1} (\frac{y}{x})

$tan^{-1}(\frac{y}{x})$

Robinson 算子

图像处理——图像预处理