二值图像分析：OpenCV中的二值化阈值操作

1.二值图像的定义

二值图像就是图像中灰度值只有2个的图像，一般就是黑白图像，2个灰度值分别为0（表示黑色）和255（表示白色）。二值图像处理与分析在机器视觉与机器人视觉中非常重要，涉及到非常多的图像处理相关的知识。

常见的二值图像分析包括轮廓分析、对象测量、轮廓匹配与识别、形态学处理与分割、各种形状检测与拟合、投影与逻辑操作、轮廓特征提取与编码等。此外图像二值化的方法也有很多，OpenCV支持几种经典的二值化算法。

从编程与代码角度来说，OpenCV中二值图像是单通道的、字节类型的Mat对象。对于任意的输入图像首先需要把图像转换为灰度图，然后通过二值化方法转换为二值图像。本质上来说，从灰度到二值图像是对数据的二分类分割，所以很多数据处理的方法都可以使用，但是图像是特殊类型的数据，它有很多限制条件，这决定了只有一些合适的方法才会取得比较好的效果。这些方法的本质任务就是寻找合理的分割阈值T，使得对于任意一个给定的像素点灰度值经过如下变换成为0或255其中的一个：
$$P(x,y)=\{\begin{array}{ll}255,& P(x,y)>T.\\ 0,& P(x,y)\le T.\end{array}$$

2.OpenCV中的基本阈值操作

如果已经寻找到合适的阈值T，那么对图像二值化分割可以看成是一种基本的阈值化操作，OpenCV除了支持正常的二值化阈值分割操作之外，还支持一些其它的阈值操作。

OpenCV中支持的基本阈值操作的C++ API如下：

double cv::threshold(
				InputArray src,
				OutputArray dst,
				double thresh,
				double maxval,
				int type)

其中src为单通道的输入图像，dst为输出的二值图像，maxval为最大值，一般为255，thresh为阈值，可以与type表示的阈值分割方法配合使用产生不同的二值化效果，type在基本二值化时支持如下五种：

• THRESH_BINARY = 0：正向二值分割，大于阈值为maxval，反之为0。
• THRESH_BINARY_INV = 1：反向二值分割，大于阈值为0，反之为maxval。
• THRESH_TRUNC = 2：截断，大于阈值时设为为阈值，否则保持原值不改变。
• THRESH_TOZERO = 3：取零，大于阈值保留原值不变，低于阈值为0。
• THRESH_TOZERO_INV = 4：反向取零，大于阈值时设为0，否则保持原值不变。

返回值double类型用于返回实际使用的阈值，因为threshold不仅可以用给定的阈值，也支持一些自动生成阈值的二值化方法，这个时候就可以用这个返回值来得到自动方法所生成的阈值。

举个栗子:

cv::threshold(grayImage,binaryImage,value,255.0,0);

指定二值化方法为THRESH_BINARY = 0时，几个不同阈值时的二值化效果如下：

图像二值化除了第二部分中的手动阈值设置方法之外，还有几个根据图像直方图实现自动全局阈值寻找的方法。OpenCV中支持的有OTSU与Triangle这两种直方图阈值寻找算法，这两个非常具有代表性，可以覆盖常见的直方图分布图像。

3.OTSU二值寻找算法

3.1 OTSU二值寻找算法介绍

OTSU是通过计算类间最大方差（找到一个阈值 $k$ 将像素灰度值分为2类，使得这2个类的类间方差最大）来确定分割阈值的阈值选择算法，该算法针对图像直方图来计算阈值，对有两个波峰（前景对象和背景）、中间有明显波谷的直方图对应的图像二值化效果比较好，而对于只有一个单峰的直方图对应的图像分割效果没有双峰的好。

3.2 OTSU二值寻找算法分析

假设一幅图像大小为 $M\ast N$，像素值属于集合 { 0 ， 1 ， 2 ， . . . ， 255 } \{0，1，2，...，255\} { 0，1，2，...，255}，用 $n_i$ 表示像素值为 $i$ 的像素点的个数，由此可以得到图像的归一化直方图，直方图横轴分量 $p_i=n_i/MN$ ，由概率和统计知识可以得到：
$$像素总数M\ast N=n_0+n_1+...+n_{255}.\text{\hspace{1em}(1)}$$
$$\sum _{i=0}^{255}{p}_i=1,p_i\ge 0.\text{\hspace{1em}(2)}$$

首先来看对于任意一个给定的介于 0~255的阈值 $k$，将其作为图像阈值来对图像进行二值化操作，可以将像素灰度值分为背景 $C_1$ 和前景对象$C_2$两个类，其中$C_1$由图像中灰度值在区间 [0,$k$] 的所有像素组成，$C_2$由图像中灰度值在区间 [$k$+1,255] 的所有像素组成。

则此图像中，像素被分到$C_1$的概率（或者说$C_1$发生的概率）由如下的累计和给出：
$$P_1(k)=\sum _{i=0}^k{p}_i.\text{\hspace{1em}(3)}$$

像素被分到$C_2$的概率（或者说$C_2$发生的概率）由如下的累计和给出：
$$P_2(k)=\sum _{i=k+1}^{255}{p}_i=1-P_1(k).\text{\hspace{1em}(4)}$$

分配到$C_1$类的平均像素值为：
$$\begin{gathered} m_1(k)=\sum _{i=0}^{k}i\cdot P(i/C_1) \\ =\sum _{i=0}^{k}i\cdot P(C_1/i)P(i)/P(C_1) \\ =\frac{1}{P_1(k)}\sum _{i=0}^{k}i\cdot p_i\text{\hspace{1em}(5)} \end{gathered}$$

上式中第二行可由贝叶斯公式得到，而在第三行中，在给定 $i$ 的前提下 $C_1$ 发生的概率 $P(C_1/i)$ 为1，$P(i)$ 是第 $i$ 个值的概率，即归一化直方图 $p_i$ 分量的第 $i$ 个分量，$P(C_1)$ 是 $C_1$ 发生的概率，等于（3）式中计算得到的 $P_1(k)$。

同理，分配到$C_2$类的平均像素值为：
$$\begin{gathered} m_2(k)=\sum _{i=k+1}^{255}i\cdot P(i/C_2) \\ =\frac{1}{P_2(k)}\sum _{i=k+1}^{255}i\cdot p_i\text{\hspace{1em}(6)} \end{gathered}$$

整个图像的平均像素值为：
$$m_G=\sum _{i=0}^{255}i\cdot p_i\text{\hspace{1em}(7)}$$

为了评估k的分类质量，假设 ${\sigma }_G^2$为全局方差，即图像中所有像素灰度值的方差，该值是一个常数且只需要计算一次。${\sigma }_B^2$为类间方差，则有：
$${\sigma }_G^2=\sum _{i=0}^{255}(i-m_G{)}^2\cdot p_i\text{\hspace{1em}(8)}$$
$$\begin{gathered} {\sigma }_B^2=P_1(m_1-m_G{)}^2+P_2(m_2-m_G{)}^2 \\ =P_1{P}_2(m_1-m_2{)}^2 \\ =\frac{{(m_G{P}_1-m)}^2}{P_1(1-P_1)}\text{\hspace{1em}(9)} \end{gathered}$$

至此对于给定的 $k$，已经可以求出此时两个类的类间方差，那么接下来要做的就是对于0~255之间每一个可能的 $k$ 按照上面的方式来计算类间方差，找到使其最大化的那一个，如果能使类间方差最大的 $k$ 值有多个，则一般取这些 $k$ 的平均值。

3.2 OpenCV中OTSU算法的使用

OpenCV中OTSU算法使用只需要在threshold()函数的type类型声明THRESH_OTSU即可，举个栗子：

double t = threshold(gray,binary,0,255,THRESH_BINARY|THRESH_OTSU);

同样对于上面的图，计算得到的阈值为147，运行结果如下：

4.TRIANGLE二值寻找算法

41 TRIANGLE二值寻找算法介绍

对于直方图为双波峰的图像来说，是比较好的二值化方法。而对于直方图为单波峰的图像来说，三角阈值法更为有效。之所以叫三角阈值法，是因为该算法通过在图像直方图上构建一个三角形来获得阈值。

4.2 TRIANGLE二值寻找算法分析

来看这样一张图像的归一化直方图：

对于该图像的直方图，首先引一条直线，即图中的红色线，使得该直线经过波峰最高点 $A$ 和横轴最远点 $B$，然后不断地作该条直线的垂线，找到使得 $d$ 最大化就可以了。实际上可以通过构造等腰直角三星形（如图，$\alpha$ 和 $\beta$ 都是45度）来寻找最大 $d$ ，则寻找最大 $d$ 等价于寻找最大 $h$，显然 $h$ 更好找。经 $h$ 计算得到的 $d$ 就是本算法寻找到的阈值。
$$h^2=2\cdot d^2->d=sqrt(\frac{h^2}{2}).$$

这里有一个细节，就是对于上面的直方图，该直方图波峰是在靠0的位置，偏左侧。如果实际直方图波峰是靠1.0（不归一化是255），偏右侧的时候，则可以对所有像素取反，然后按照之前的方式来处理就可以了。

4.3 OpenCV中TRIANGLE算法的使用

OpenCV中TRIANGLE算法使用只需要在threshold()函数的type类型声明THRESH_TRIANGLE即可，举个栗子：

double t = threshold(gray,binary,0,255,THRESH_BINARY|THRESH_TRIANGLE);

同样对于上面的图，计算得到的阈值为249，运行结果如下：

5.自适应二值化阈值算法

OpenCV中的自适应阈值算法主要是基于均值实现，根据计算均值的方法不同分为盒子模糊（box filter）均值与高斯模糊均值，然后使用原图减去均值图像，得到的差值图像进行自适应分割，相关的API如下：

void cv::adaptiveThreshold(
				InputArray src,
				OutputArray dst,
				double maxValue,
				int adaptiveMethod,
				int thresholdType,
				int blockSize,
				double C)

其中blockSize取值必须是奇数，C取值在10左右

adaptiveMethod自适应方法类型：

• ADAPTIVE_THRESH_GAUSSIAN_C = 1：
• ADAPTIVE_THRESH_MEAN_C = 0：

当阈值操作类型thresholdType为：

• THRESH_BINARY：二值图像 = 原图–均值图像> C? 255:0。
• THRESH_BINARY_INV：二值图像 = 原图–均值图像>C? 0:255。

举个栗子：

cv::adaptiveThreshold(grayImage,binaryImage,255.0,cv::ADAPTIVE_THRESH_GAUSSIAN_C,cv::THRESH_BINARY,3,10.0);

运行结果如下：