python背景虚化（20190220）
文章目录：
玩单反的人经常会使用背景虚化来拍摄一些很漂亮的照片，但是，单反毕竟不是每个人都可以玩的，因此，出现了很多软件算法来实现的背景虚化效果。背景虚化就是背景模糊化，好的虚化前景和背景之间是渐进过度的！！！
一、背景虚化知识导读
1、背景虚化的特点
我们要实现背景虚化，首先要了解单反拍出的背景虚化的照片有什么特点，只有这样，才能写出更接近真实的算法。
经过我的总结，背景虚化有如下几个特点：
聚焦的物体成像要清晰(也就是焦平面内要清晰)；焦平面之外的景物成像是模糊的；距离焦平面越远，模糊程度越大，反之，越小(即模糊随着景深不同而不同)；- 焦外成像
二线性问题；
1、单摄像头虚化
现在很多手机厂商都在用图像算法做背景虚化，但是在单摄像头的情况下，效果却都不尽人意，这里举个例子来说明一下。
下面这张图是华为荣耀6Plus的效果图
这张图至少有三个问题：
- 在人和依靠的树所在的焦平面内，人头和鞋子两个地方是模糊的，不是清晰的；
- 美女的长腿与树之间的缝隙是不属于焦平面的，应该是模糊的，而不是清晰的；
- 焦平面外的模糊应该是渐进的模糊，而不是均匀的，这个图明显是均匀的；
2、双摄像头虚化
对于双摄像头的背景虚化，实际上是利用两个摄像头的位置信息，计算成像的景深等等，来结合算法实现的效果；由于采用了两个摄像头，因此，效果要比单摄像头单纯的算法实现要好，这里给出iphone7P的效果图，该图也来自网络：
2、虚化算法设计:参考
下面说一下我这里的算法流程如下：
1、聚焦物体抠图(构建焦平面)；
2、焦平面之外的背景模糊；
3、焦平面之外的背景渐进模糊变换；
4、焦外二线性；
对于1聚焦物体抠图，常用的有:
传统抠图：贝叶斯抠图算法、Graph Cut、Alpha mat等深度学习相关的抠图算法：参考如下
《Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images》
《Shared Sampling for Real-Time Alpha Matting》
《A Closed Form Solution to Natural Image Matting》
《A Bayesian Approach to Digital Matting》
《Learning Based Alpha Matting using Support Vector Regression》
《Natural Image Matting using Deep Convolutional Neural Networks》
《Deep Image Matting》
这一步骤，假设原图为S，抠图得到目标图像之后，我们需要构建一个焦平面Mask，然后对该Mask进行高斯滤波，得到一个有边缘过度的Mask；
如下图所示：
针对2背景模糊，我们可以直接对原图进行高斯模糊，得到模糊图像G；
针对3渐进模糊，我们需要在焦平面的中心点，向外构建一个比例系数，构成一个扩散系数，距离焦平面中心点越远，扩散系数越大，对应的模糊程度也越大，这里我假设为K；
上述三点完成之后，我们做如下处理：
Output = S*Mask+(255-Mask)*G
这个公式计算出来的效果是背景模糊均匀的背景虚化效果；
如下图所示：
要构建渐进模糊，需要两个步骤：
①我们需要先计算焦平面的中心，这个中心点计算公式如下：
实际上也就是质心计算公式，这里我们计算出的质心为(x0,y0)；
②以(x0,y0)为中心，向外计算可变半径高斯模糊，即距离中心越远的地方高斯半径越大，反之越小，具体可以参考比例系数K；
这一步得到的效果是有渐进模糊的背景虚化效果，同时，过渡区域也比较自然；
这里我给个我的测试图：
二、背景虚化算法实现
上面已经大致介绍了背景序虚化的流程，主要是下面三个步骤：
抠图得到图像的前景区域- 对
背景使用高斯模糊，得到图层- 将原图
前景区域叠加到第二步得到的图层对应区域
注：第一步中，可以使用的抠图算法很多，这里是一个抠图的benchmark网站 alphamatting，你可以在这里找到相关算法
1、matlab算法实现
% Input photograph
I = imread('pencils.png');
I = im2double(I);
IR = I(:,:,1);
IG = I(:,:,2);
IB = I(:,:,3);
% Joint image
J = imread('pencils_joint_depth.png');
J = im2double(J);
BW = im2bw(J,0.5);
% Depth-of-field Examples
sigma_s = 10;
sigma_r = 0.2;
% Edges superimposed.
F_nc = NC(I, sigma_s, sigma_r,3,J);
% Composition
Out = F_nc;
OutR = Out(:,:,1);
OutG = Out(:,:,2);
OutB = Out(:,:,3);
OutR(BW) = IR(BW);
OutG(BW) = IG(BW);
OutB(BW) = IB(BW);
Out = cat(3,OutR,OutG,OutB);
% Show results.
figure, imshow(I); title('Input photograph');
figure, imshow(Out); title('Filtered photograph');
2、利用语义分割实现
参考github实现：
https://github.com/arrizalamin/portrait-mode
Reference：
1、http://www.php361.com/index.php?c=index&a=view&id=7769 # 相关介绍比较详细
2、https://blog.csdn.net/bluecol/article/details/45481395 # matlab实现