图像分割之Bayesian Matting
最近阅读了关于Matting的两篇文章，【Blue Screen Matting】和【A Bayesian Approach to Digital Matting】都是早期的（1996ACM,2001CVPR）图像融合Image Matting技术。接下来简单地写写目前自己对Matting的理解和认识。
Matting重点在于分出前景和背景以及它们之间的融合度。早期有Blue Screen Matting 其创建了Matting的万能公式：
其中,a,B,F分别为融合度、背景、前景。让机器去分割（识别）图片中哪个是前景哪个是背景，从而将前景图片“挖”出来，达到目的。
当a=1时，I(x,y) = F(x,y);
当a=0时，I(x,y) = B(x,y);
当a=1/2时，I(x,y) = 1/2 F(x,y)+1/2B(x,y);
已知3个等式和7个未知数$(\alpha ,F_{R,G,B},B_{R,G,B})$我们可以利用Tri-map,Scribble来为机器识别前景背景。
1 Blue Screen Matting解法
利用背景的不同，识别前景，进行Matting.$\alpha =1-a_{1}(I_{b}-a_{2}I_{g})$ 其中blue channel is large, green channel is low.
1.1 Difference Matting
基本思想是利用在不同背景（颜色）下拍摄前景物体，后利用计算机分辨两图差异进行Matting.跟方法1的思想类似。
1.2 Getting Ground-Truth mattes
B已知，则剩下3个等式，4个未知数。对两幅图片进行区别对比时$I_{1}=\alpha F+(1-\alpha )B_{1}$ $I_{2}=\alpha F+(1-\alpha )B_{2}$ 于是就有了6个等式和4个未知数。
2 Natural Image Matting解法；
已知I，未知a,F,B。利用概率知识来对未知区域进行识别
以上是熟知的条件概率，I是已知的且F,B,α相互独立，根据上面公式Matting问题被转化为已知待计算像素颜色I的情况下，如何估计它的F、B和α的值以最大化后验概率P(F,B,α|I)P(F,B,α|I)的问题，即MAP问题。
根据文献[1]，算法构建来自给定邻域的前、背景概率分布进行计算，用连续的滑动窗口进行邻域的定义，分别由前景、背景向未知区域“前进”利用邻域值来计算F,B,α的高斯分布，表达为概率分布P的最大概率。
文献将采样窗口定义为一个以待计算点为中心，半径r的圆域。采样期间同时将未知区域以及F,B进行采集，采集过程中对采样点的Contribution加权[2]。根据α对前景采样时使用$\alpha ^{2}$对背景采样时使用$(1-\alpha) ^{2}$表示越透明的像素致信度越高；另外采样点到目标点间的距离，采用方差为8的高斯分布对距离因子$g_{i}$进行衰减，最终所有权值表示为$w_{i}=\alpha ^{2}g_{i}$(前景)，$w_{i}=(1-\alpha )^{2}g_{i}$(背景)。
算法的核心假设是在前景和背景的交界区域附近，其各自的颜色分布在局部应该是基本一致的。算法的目标是通过上面给出的采样统计结果，在未知区域的每一个待计算点上重建它的前景和背景颜色概率分布，并根据这种分布恢复出它的前景F，背景B和α值。
对最初的概率公式进行改造，利用对数似然函数L(·)=logP(·)有
对L(I|F,B,α)通过测量观测到的颜色I与估计的F,B, α的颜色I‘间的差来建模。
其中以I=αF-(1-α)B为中心的高斯分布，标准差为$\delta ^{2}$
对L(F)用图像空间相干性来计算，使用已知的邻域N内的每个像素与先前估计的前景颜色来建立颜色的概率分布，每个临近像素i于N内的权重$w_{i}=\alpha ^{2}g_{i}$，给定一组前景和相应的权重，计算加权平均颜色F，加权协方差矩阵ΣF
同样类似与前景，对L(B)有$w_{i}=(1-\alpha )^{2}g_{i}$设α为常数，有
可以求得最佳F,B 最后假设F和B是常数，从而得到关于α的二次方程，并对α求导，令其值为0，于是得到：
这样所有未知方程都可以求解出来，原方程即求解。
接下来对算法进行实现，数据集[3]包括输入的简单图像和其Tri-map图。实验采用Matlab平台，下面图片分别是原图，Tri-map图，融合结果图。
Reference:
[1] Chuang Y Y , Curless B , Salesin D H , et al. A Bayesian approach to digital matting[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001.
[2] 白马负金羁,自然抠图算法：以经典的贝叶斯抠图为例（Bayesian Matting),
https://blog.csdn.net/baimafujinji/article/details/72863106?utm_source=gold_browser_extension
[3] Alpha Matting Evaluation Website,
http://www.alphamatting.com/datasets.php
[4] github-lolilolihunter-Bayesian-Matting
https://github.com/lolilolihunter/Bayesian-Matting