《A Closed-Form Solution to Natural Image Matting》的一句话的理解

《A Closed-Form Solution to Natural Image Matting》【1】是作者：Anat Levin, Dani Lischinski, and Yair Weiss等人在2008年2月的一篇文章，它所用抠图的方法是文章《Semantic Soft Segmentation》（2018，来自MIT CSAIL的YAĞIZ AKSOY等人）的基础。
在文中，image matting（抠图）问题被归结为求解compositing equation：

I_{i} = α_{i} F_{i} + (1 - α_{i}) B_{i} (1)

$I_i=\alpha_i F_i + (1-\alpha_i)B_i \qquad(1)$
（1）式中

I_{i}

$I_i$ 是像素点，是已知的，未知数有：

α_{i}, F_{i}, B_{i}

$\alpha_i,F_i,B_i$ ，其中

α_{i} \in [0, 1]

$\alpha_i \in [0,1]$ 表示透明度，

F_{i}, B_{i}

$F_i,B_i$ 分别为前景颜色和背景颜色。
(1)是一个严重的欠约束的方程组：假如图像有N个像素点，则可以列出N个方程，但有3N个未知数。
为求解抠图所用模板——

α

$\mathbf \alpha$ ，它是矢量，每一个像素对应它的一个元素

α_{i}

$\alpha_i$ ，如图1和图2：
这里写图片描述

图1、原图

图2 、

α

$\alpha$ 模板
为求

α

$\alpha$ 模板，需要给公式（1）添加一些约束：
1、用户给出trimap（三区标注图，图中标签有三种：Foreground、Background、Unknown），或手动粗略（Scribbles）地指出前景与背景，Trimap实例如下图所示：
这里写图片描述

图3、白色为前景区域、黑色为背景区域、灰色为未知区域
这里写图片描述

图4、Scribbles图，白色为前景，黑色为背景，中间部分为未知区域
2、假设：在一个小的窗口（window，用w表示）中，前景（FG）与背景(BG)是一个常数，分别为F和B，于是（1）式可以转换成为：

I_{i} \approx α_{i} F + (1 - α_{i}) B \forall i \in w \approx α_{i} (F - B) + B \Rightarrow α_{i} \approx \frac{1}{F - B} I_{i} - \frac{B}{F - B} L e t a = \frac{1}{F - B}, b = - \frac{B}{F - B} s o α_{i} \approx a I_{i} + b (2)

$I_i \approx \alpha_i F + (1-\alpha_i)B \quad \forall i \in w \\ \approx \alpha_i(F-B) + B \\ \Rightarrow \alpha_i \approx \frac {1}{F-B} I_i - \frac {B}{F-B} \\ Let \quad a=\frac {1}{F-B},b=-\frac {B}{F-B} \\ so \quad \alpha_i \approx a I_i+b \qquad(2)$
此处的约等于“

\approx

$\approx$ ”是因为假设了F和B是常数，由此引入的。
针对公式（2），该文章中有一段话是这样的：
这里写图片描述

为什么（2）式就 suggests 最小化这个代价函数（3）呢？这是整篇文章的关键，是后续推导的基础，我的理解是这样的：

一、对于一幅特定的图，前景区域和后景区域是确定的

假设一个window是3*3矩阵，有四种情况：
CASE 1: 该w都在Trimap的前景或背景中，则F和B以及 $\alpha_i$ 都是已知的，这些像素可被认为是“约束点（Constraint Points）”，在前景中， $\alpha_i =1，F = I_i$ ；若在背景中， $\alpha_i =0，B = I_i$ 。
CASE 2: 在w中，既有B约束点，又有F约束点，则F和B已知，由（2）构成的方程组与未知的 $\alpha_i$ 的个数相同，可有唯一解。
CASE 3: 在w中，只有F约束点（或B约束点）和U点（Unknown Pixel），则未知变量数量比方程式数量多1，有无限多解。
CASE 4: 在w中，只有U点，则未知数数量比方程式数量多2，没有唯一解。
若我们的滑动窗从CASE _1和CASE_2开始移动，会出现CASE_3，然后出现CASE_4。
如果在CASE_3中，我们为window中任一个U点（像素i），设定 $\alpha_i$ 值，则CASE_3方程组有唯一解。当窗口从CASE_3进入CASE_4时，若前面CASE_3的点都已经确定，则此时CASE_4的window的F和B也已经确定（来自上一次滑动窗口），因而也可求出所有的点的 $\alpha_i,F,B$ 。如此F和B信息可以通过新的窗口传递下去，最后可计算出所有的点的透明度 $\alpha$ 值。

观察上述迭代过程，矢量 $\alpha^m$ 会在迭代过程中发生变化。这是因为我们在计算一个窗体 $w_i$ （以像素i为中心的window）的 $(\alpha , F_i, B_i)$ 时，认为 $F_i$ 和 $B_i$ 是常数，由上一个滑动窗继承过来，然而若滑动的路径不同，即使是同一点上算出的 $(\alpha_i , F_i, B_i)$ 也可能不同。随机游动，产生了随机序列 $\alpha^m$ 。

这是一个马尔可夫过程，滑动窗口随机游走，每滑动一次，计算一次 $\alpha$ ，用 $\alpha^m$ 表示。如果输入图片有唯一最优抠图（人能够将所要前景抠图出来），则存在收敛值，随机游动得到的 $\alpha^m$ 最后可以稳定下来。因为 $\alpha$ 所处空间是完备空间，因而存在柯西序列性质，则：

lim_{m \to \infty} α^{m} = α^{*} \Rightarrow lim_{m \to \infty} | α^{m + 1} - α^{m} | = 0 (4)

$\lim_{m \to \infty} \alpha^m = \alpha^* \Rightarrow \lim_{m \to \infty} \vert \alpha^{m+1} - \alpha^m \vert = 0 \qquad(4)$
可根据公式（4）设计随机游走方案（ 关键在于把

α^{m}

$\alpha^m$ 看作是柯西序列），只要迭代步数足够多，前后两次迭代所得的矢量距离就会趋向0，此时所得矢量

α^{m}

$\alpha^m$ 便是最优

α^{*}

$\alpha^*$ 。这样的算法前人已经提出，也可取得较好的抠图效果，但不足之处是速度太慢，这是所有MonteCarlo方法都具有的。
透明度收敛，即前景与背景是确定的，反之亦然。

二、问题归结为求 $\alpha$ 二次型的凸优化

【1】文最突出的贡献是给出最优 $\alpha^*$ 解析解，不需要经多次迭代就可得到。思想是这样的：
既然矢量 $\alpha^m$ 存在最优，令像素 $i$ 上的透明度最优值为 $\alpha_i$ ，根据公式(2)得到它的一个估计值： $a_j I_i + b_j = \hat{\alpha_i}$ ，两者之间的距离定义为： $(\alpha_i- \hat{\alpha_i})^2 = (\alpha_i - a_j I_i - b_j)^2$ 。
若滑动窗体的size为N*N（例如：N=3），一个窗体有N*N个像素，亦即可计算N*N个估计值，这些估计值与最优 $\alpha^*$ 之间距离的和是公式（5），随着随机游动的次数增加，最后会收敛，并达到最小值。因此，公式（5）可作为一个窗体透明度与它的最优值之间距离：

D i s t a n c e_{w_{j}} = D (w_{j}) = \sum_{i \in w_{j}} (α_{i} - a_{j} I_{i} - b_{j})^{2} (5)

$Distance_{w_j} = D(w_j) =\sum_{i \in w_j} (\alpha_i - a_j I_i - b_j )^2 \qquad(5)$
以每个像素为中心点作window，窗体与像素一一对应，因而图像

I

$I$ 估计的透明度与最优透明度之间总距离可以表述为所有窗体距离的和：

D i s t a n c e_{I} = \sum_{j \in I} D (w_{j}) = \sum_{j \in I} \sum_{i \in w_{j}} (α_{i} - a_{j} I_{i} - b_{j})^{2} (6)

$Distance_{I} = \sum_{j \in I}D(w_j) = \sum_{j \in I} \sum_{i \in w_j} (\alpha_i - a_j I_i - b_j )^2 \qquad(6)$
公式（6）加上一个为平滑用的正则项（

ϵ a_{j}^{2}

$\epsilon a_j^2$ ），就得到了公式（3）。问题： 为什么（2）式就 suggests 最小化这个代价函数（3）呢？得解。

3、求透明度的解析解

公式（3）我们重新抄一次，如下：

J (α, a, b) = D i s t a n c e_{I} = \sum_{j \in I} (\sum_{i \in w_{j}} (α_{i} - a_{j} I_{i} - b_{j})^{2} + ϵ a_{j}^{2}) (3)

$J(\alpha,\mathbf a,\mathbf b) = Distance_{I} = \sum_{j \in I} \left(\sum_{i \in w_j} (\alpha_i - a_j I_i - b_j )^2 + \epsilon a_j^2 \right) \qquad(3)$
假设窗体

w_{k}

$w_k$ 的size是3*3，其像素为

{I_{1}, I_{2}, \dots, I_{9}}

$\{ I_1,I_2, \cdots ,I_9\}$ ，其前景和背景颜色为：

(F_{k}, B_{k})

$(F_k,B_k)$ ，根据公式（2）有：

L e t a_{k} = \frac{1}{F_{k} - B_{k}}, b_{k} = - \frac{B_{k}}{F_{k} - B_{k}}

$Let \quad a_k=\frac {1}{F_k-B_k},b_k=-\frac {B_k}{F_k-B_k}$

令：

G_{k} = [\begin{array}{cc} I_{1} & 1 \\ I_{2} & 1 \\ I_{3} & 1 \\ ⋮ & ⋮ \\ I_{9} & 1 \\ \sqrt{ϵ} & 0 \end{array}], {\bar{α}}_{k} = [\begin{matrix} α_{1} \\ α_{2} \\ α_{3} \\ ⋮ \\ α_{9} \\ 0 \end{matrix}] \Rightarrow G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}} = [\begin{matrix} I_{1} a_{k} + b_{k} - α_{1} \\ I_{2} a_{k} + b_{k} - α_{2} \\ \dots \\ I_{9} a_{k} + b_{k} - α_{9} \\ \sqrt{ϵ} a_{k} \end{matrix}] \Rightarrow \sum_{i \in w_{j}} (α_{i} - a_{j} I_{i} - b_{j})^{2} + ϵ a_{j}^{2} = {(G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}})}^{T} (G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}}) = {‖ G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}} ‖}^{2} (7)

$G_k=\left[ \begin{array}{cc} I_1&1\\ I_2&1\\ I_3&1\\ \vdots & \vdots \\ I_9&1\\ \sqrt{\epsilon}&0\\ \end{array} \right] , \bar \alpha_k= \left[ \begin{array}{c} \alpha_1\\ \alpha_2\\ \alpha_3\\ \vdots \\ \alpha_9\\ 0\\ \end{array} \right]\\ \Rightarrow G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k}= \left[ \begin{array}{c} I_1 a_k + b_k - \alpha_1\\ I_2 a_k + b_k - \alpha_2\\ \cdots\\ I_9 a_k + b_k - \alpha_9\\ \sqrt\epsilon a_k \end{array} \right]\\ \Rightarrow \sum_{i \in w_j} (\alpha_i - a_j I_i - b_j )^2 + \epsilon a_j^2 = \left( G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right)^T \left( G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right) = \left\Vert G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right\Vert^2 \qquad(7)$
将（7）代入（3）有：

J (α, a, b) = \sum_{k \in I} {‖ G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}} ‖}^{2} (8)

$J(\alpha,\mathbf a,\mathbf b)=\sum_{k \in I} \left\Vert G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right\Vert^2 \qquad(8)$
目标是求解能令（8）取最小值的

(α, a, b)

$(\alpha,\mathbf a, \mathbf b)$ ，问题等价于两个连续的求最小值步骤：
（1）给定

α

$\alpha$ ，求

J (α, a, b)

$J(\alpha,\mathbf a,\mathbf b)$ 的最小值：

J (α) = min J (a, b | α)

$J(\alpha)=\min J(\mathbf a, \mathbf b \vert \alpha)$
（2）求

min J (α)

$\min J(\alpha)$
由公式（7）有：

L e t β = [\begin{matrix} a_{k} \\ b_{k} \end{matrix}], α = \bar{α_{k}} L = {(G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}})}^{T} (G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}}) = {(G_{k} β - α)}^{T} (G_{k} β - α) L e t \frac{\partial L}{\partial β} = 2 G_{k}^{T} G_{k} β - 2 G_{k}^{T} α = 0 \Rightarrow β^{*} = (G_{k}^{T} G_{k})^{- 1} G_{k}^{T} α = [\begin{matrix} a_{k}^{*} \\ b_{k}^{*} \end{matrix}] (9)

$Let \quad \beta = \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right], \alpha = \bar {\alpha_k}\\ L =\left( G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right)^T \left( G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right) = \left( G_k \beta- \alpha \right)^T\left( G_k \beta- \alpha \right)\\ Let \quad \frac{\partial L}{\partial \beta} = 2G_k^T G_k\beta-2 G_k^T\alpha=0\\ \Rightarrow \beta^* = (G_k^T G_k)^{-1}G_k^T\alpha=\left[ \begin{array}{c} a_k^*\\b_k^* \end{array} \right]\qquad(9)$
将（9）代入（8）有：

J (α, a, b) = \sum_{k \in I} {‖ G_{k} [\begin{matrix} a_{k} \\ b_{k} \end{matrix}] - \bar{α_{k}} ‖}^{2} = \sum_{k \in I} {‖ G_{k} (G_{k}^{T} G_{k})^{- 1} G_{k}^{T} \bar{α_{k}} - \bar{α_{k}} ‖}^{2} L e t \bar{G_{k}} = I - G_{k} (G_{k}^{T} G_{k})^{- 1} G_{k}^{T}, \Rightarrow J (α, a, b) = \sum_{k \in I} {\bar{α_{k}}}^{T} {\bar{G}}_{k}^{T} {\bar{G}}_{k} \bar{α_{k}} = \sum_{k \in I} α_{k}^{T} L α_{k} (10)

$J(\alpha,\mathbf a,\mathbf b)=\sum_{k \in I} \left\Vert G_k \left[ \begin{array}{c} a_k\\b_k \\ \end{array} \right] - \bar {\alpha_k} \right\Vert^2= \sum_{k \in I} \left\Vert G_k (G_k^T G_k)^{-1}G_k^T \bar {\alpha_k} -\bar {\alpha_k} \right\Vert^2 \\ Let \quad \bar{G_k} = I- G_k (G_k^T G_k)^{-1}G_k^T,\\ \Rightarrow J(\alpha,\mathbf a,\mathbf b)=\sum_{k \in I} \bar {\alpha_k}^T \bar G_k^T \bar G_k \bar {\alpha_k}=\sum_{k \in I} \alpha_k^T L \alpha_k \qquad(10)$
公式（10）中，L被称为Laplacian Matrix，

{\bar{α}}_{k}

$\bar \alpha_k$ 是

α_{k}

$\alpha_k$ 最后一个元素后增添0后的扩展矢量，因而L是

{\bar{G}}_{k}^{T} {\bar{G}}_{k}

$\bar G_k^T \bar G_k$ 去掉最后一行和一列的矩阵，它的每个元素是可确定的：

L_{i, j} = δ_{i, j} - \frac{1}{w_{k}} (1 + \frac{1}{\frac{ϵ}{| w_{k} |} + σ_{k}^{2}} (I_{i} - u_{k}) (I_{j} - u_{k})) (11)

$L_{i,j}=\delta_{i,j}-\frac{1}{w_k} \left(1+\frac{1}{\frac{\epsilon}{\vert w_k \vert}+\sigma^2_k} (I_i-u_k)(I_j-u_k)\right) \qquad(11)$
其中

| w_{k} |

$\vert w_k \vert$ 表示window中像素个数，

u_{k}

$u_k$ 表示窗体像素的平均值，

σ_{k}

$\sigma_k$ 表示窗体像素的方差，

δ_{i, j} = δ [i - j]

$\delta_{i,j}=\delta[i-j]$ 表示狄利克雷函数。
于是，

J (α, a, b)

$J(\alpha,\mathbf a,\mathbf b)$ 可以表示成为透明度矢量

α

$\alpha$ 的二次型，再加上限制点约束条件，问题最后转化成带有约束条件的凸优化问题：

α = \arg min α^{T} L α + λ (α^{T} - b_{s}^{T}) D_{s} (α - b_{s}) (12)

$\alpha = \arg \min \alpha^T L \alpha + \lambda (\alpha^T - b_s^T)D_s(\alpha - b_s) \qquad(12)$
(12)中

D_{s}

$D_s$ 是对角矩阵，其对角线元素对应图中每个点，限制点（标注出是FG或BG的点）上为1值，而其他非限制点均为0。

b_{s}

$b_s$ 是与

α

$\alpha$ 相同维度的列矢量，限制点上为相应

α_{i}

$\alpha_i$ 值，其余为0。由此，可定义Loss为：

L o s s = α^{T} L α + λ (α^{T} - b_{s}^{T}) D_{s} (α - b_{s}) (13)

$Loss = \alpha^T L \alpha + \lambda (\alpha^T - b_s^T)D_s(\alpha - b_s) \qquad(13)$
Loss对

α

$\alpha$ 求偏导，并置零：

\frac{\partial L o s s}{\partial α} = 2 L α + 2 λ D_{s} (α - b_{s}) = 0 \Rightarrow α = λ (L + λ D_{s})^{- 1} D_{s} b_{s} = λ (L + λ D_{s})^{- 1} b_{s} (14)

$\frac{\partial Loss}{\partial \alpha} = 2L\alpha + 2 \lambda D_s(\alpha - b_s)=0\\ \Rightarrow \alpha = \lambda (L+\lambda D_s)^{-1}D_s b_s= \lambda (L+\lambda D_s)^{-1}b_s \qquad(14)$
(14)给出了透明度

α

$\alpha$ 的解析解。

4、将该方法扩展至彩色图片

彩色图像 $I(R,G,B)$ 可以看成是三个单色 Channel 的合并(Concatenation)，透明度在这三个Channel中保持一致，于是根据（1）有：

{\begin{matrix} I_{i}^{r} = α_{i} F_{i}^{r} + (1 - α_{i}) B_{i}^{r} \\ I_{i}^{g} = α_{i} F_{i}^{g} + (1 - α_{i}) B_{i}^{g} \\ I_{i}^{b} = α_{i} F_{i}^{b} + (1 - α_{i}) B_{i}^{b} \end{matrix} Let c \in {r, g, b}, so I_{i}^{c} = α_{i} F_{i}^{c} + (1 - α_{i}) B_{i}^{c} (15)

$\left\{ \begin{array}{c} I_i^r = \alpha_i F_i^r + (1-\alpha_i)B_i^r \\ I_i^g = \alpha_i F_i^g + (1-\alpha_i)B_i^g \\ I_i^b = \alpha_i F_i^b + (1-\alpha_i)B_i^b \end{array} \right. \\ \text{Let } c \in \{r,g,b\},\text{so } I_i^c = \alpha_i F_i^c + (1-\alpha_i)B_i^c \qquad(15)$
我们希望彩色图像透明度问题也能象单色图像透明度问题那样转化为求

α

$\alpha$ 二次型凸优化问题。方法之关键在于找到公式（5）那样的小窗体（little window）透明度的估计值与其最优值之间距离，即要从（15）中得到

α_{i}

$\alpha_i$ 的估计值。（虽然我们不知道最优值，但我们知道其存在，这个前面叙述有说明，若能构建出估计值，则二次型成矣。）由（15）得到：

I_{i} = α F_{i} + (1 - α) B_{i} \Rightarrow I_{i} = α (F_{i} - B_{i}) + B_{i} \Rightarrow I_{i} - B_{i} = α (F_{i} - B_{i}) (16)

$\mathbf I_i=\alpha \mathbf F_i + (1-\alpha)\mathbf B_i \\ \Rightarrow \mathbf I_i=\alpha( \mathbf F_i - \mathbf B_i)+\mathbf B_i \\ \Rightarrow \mathbf I_i - \mathbf B_i=\alpha( \mathbf F_i - \mathbf B_i) \qquad(16)$
(16)说明的是矢量

I_{i} - B_{i}

$\mathbf I_i - \mathbf B_i$ 和矢量

F_{i} - B_{i}

$\mathbf F_i - \mathbf B_i$ 是线性关系，这个约束太强：若两个矢量不是线性，则

α

$\alpha$ 只能为0。因而【1】引入了“两色线模型”（color line model），如图所示：
这里写图片描述

图5 “前景-背景”双色线性模型
该模型有如下几个近似：

在小窗体中，前景部分可以用一条在 $(R,G,B)$ 空间的直线段表示；
线段可以由两个端点确定，其他部分由端点间的线性插值确定；
背景部分也可以用同样的方式表达。
因而有：
${\begin{matrix} F_{i} = β_{i}^{F} F_{1} + (1 - β_{i}^{F}) F_{2} \\ B_{i} = β_{i}^{B} B_{1} + (1 - β_{i}^{B}) B_{2} \end{matrix} (17)$ $\left \{ \begin{array}{c} \mathbf F_i = \beta_i^F \mathbf F_1+(1-\beta_i^F)\mathbf F_2\\ \mathbf B_i = \beta_i^B \mathbf B_1+(1-\beta_i^B)\mathbf B_2 \end{array} \right. \qquad(17)$
其中， $\mathbf F_1,\mathbf F_2$ 分别对应小窗体前景的两个颜色矢量， $\mathbf B_1,\mathbf B_2$ 分别对应小窗体背景的两个颜色矢量， $\beta_i^F,\beta_i^B$ 分别对应前景和背景插值斜率。代入（16）有：
$I_{i} = α_{i} F_{i} + (1 - α_{i}) B_{i} I_{i} = α_{i} [β_{i}^{F} F_{1} + (1 - β_{i}^{F}) F_{2}] + (1 - α_{i}) [β_{i}^{B} B_{1} + (1 - β_{i}^{B}) B_{2}] (18)$ $\mathbf I_i = \alpha_i \mathbf F_i+(1-\alpha_i) \mathbf B_i \\ \mathbf I_i = \alpha_i \ [\beta_i^F \mathbf F_1 + (1-\beta_i^F)\mathbf F_2] + (1-\alpha_i)[\beta_i^B \mathbf B_1+(1-\beta_i^B)\mathbf B_2] \qquad(18)$
令
$H = [F_{2} - B_{2}, F_{1} - F_{2}, B_{1} - B_{2}] So H \cdot [\begin{matrix} α_{i} \\ α_{i} β_{i}^{F} \\ (1 - α_{i}) β_{i}^{B} \end{matrix}] = α_{i} F_{2} - α_{i} B_{2} + α_{i} β_{i}^{F} F_{1} - α_{i} β_{i}^{F} F_{2} + (1 - α_{i}) (β_{i}^{B} B_{1} - β_{i}^{B} B_{2}) = I_{i} - B_{2} Let x_{1} = α_{i}, x_{2} = α_{i} β_{i}^{F}, x_{3} = (1 - α_{i}) β_{i}^{B}, so: H \cdot [\begin{matrix} x_{1} \\ x_{2} \\ x_{3} \end{matrix}] = I_{i} - B_{2} (19)$ $\mathbf H = \left[\mathbf F_2-\mathbf B_2,\mathbf F_1-\mathbf F_2, \mathbf B_1-\mathbf B_2 \right]\\ \text{So} \qquad \mathbf H \cdot \left[ \begin{array}{c} \alpha_i \\ \alpha_i \beta_i^F \\ (1-\alpha_i)\beta_i^B \end{array} \right]=\alpha_i \mathbf F_2 - \alpha_i \mathbf B_2 + \alpha_i \beta_i^F \mathbf F_1 - \alpha_i \beta_i^F \mathbf F_2 + (1-\alpha_i)(\beta_i^B \mathbf B_1- \beta_i^B\mathbf B_2)\\=\mathbf I_i-\mathbf B_2 \\ \text{Let} \quad x_1=\alpha_i, x_2=\alpha_i \beta_i^F,x_3=(1-\alpha_i)\beta_i^B, \quad \text{so:} \\ \mathbf H \cdot \left[ \begin{array}{c} x_1 \\ x_2 \\ x_3 \end{array} \right] = \mathbf I_i-\mathbf B_2 \qquad(19)$
(19)是一个线性方程组，若有解的话，要求 $\mathbf H$ 与其增广矩阵 $\bar {\mathbf H}$ 的秩相等。此处，我没有讨论这个方程组是否一定有非平凡解，但若 $\mathbf H$ 满秩的话，则一定有解。放宽了约束条件后， $\alpha_i$ 是 $\mathbf H^{-1}(\mathbf I_i-\mathbf B_2)$ 的第一行元素，因而有：
$α_{i} = \sum_{c \in {r, g, b}} a^{c} I_{i}^{c} + b Let a = [\begin{matrix} a^{r} \\ a^{g} \\ a^{b} \end{matrix}], so α_{i} = a^{T} I_{i} + b (20)$ $\alpha_i = \sum_{c \in \{r,g,b\}}a^c I_i^c+b \\ \text{Let} \quad \mathbf a= \left[ \begin{array}{c} a^r \\a^g\\a^b \end{array} \right] \ \text{, so } \ \alpha_i = \mathbf a^T \mathbf I_i + b \qquad(20)$

(20)式是矢量 $\alpha$ 的每一个元素的估计，参考上述分析（公式（6）），定义最优值与估算值距离：

重写一次公式（6）: D i s t a n c e_{I} = \sum_{j \in I} D (w_{j}) = \sum_{j \in I} \sum_{i \in w_{j}} (α_{i} - a_{j} I_{i} - b_{j})^{2} (6) 定义彩色图像距离: D i s t a n c e_{I} = \sum_{j \in I} D (w_{j}) = \sum_{j \in I} \sum_{i \in w_{j}} (α_{i} - a_{j}^{T} I_{i} - b_{j})^{2} (21)

$\text{重写一次公式（6）:}\\ Distance_{I} = \sum_{j \in I}D(w_j) = \sum_{j \in I} \sum_{i \in w_j} (\alpha_i - a_j I_i - b_j )^2 \qquad(6)\\ \text{定义彩色图像距离:}\\ Distance_{I} = \sum_{j \in I}D(w_j) = \sum_{j \in I} \sum_{i \in w_j} (\alpha_i - \mathbf a^T_j \mathbf I_i - b_j )^2 \qquad(21)$
与单色图像分析一致，问题可以转换为二次型凸优化，有：

J (α) = α^{T} L α (22) L_{i, j} = \sum_{k | (i, j) \in w_{k}} [δ_{i j} - \frac{1}{| w_{k} |} (1 + (I_{i} - μ_{k})^{T} (Σ_{k} + \frac{ϵ}{| w_{k} |} I_{3})^{- 1} (I_{i} - μ_{k}))] (22)

$J(\alpha)= \alpha^T L \alpha \qquad(22) \\ L_{i,j}=\sum_{k \vert (i,j)\in w_k}[\delta_{ij}-\frac{1}{\vert w_k \vert}(1+(\mathbf I_i-\mu_k)^T(\Sigma_k+\frac{\epsilon}{\vert w_k \vert}\mathbf I_3)^{-1}(\mathbf I_i-\mu_k))] \qquad(22)$
后续计算方法与单色方法相同，参考公式（12）、（13）、（14）。
在GitHub上有实现代码： https://github.com/MarcoForte/closed-form-matting
以下摘抄一段以助理解：

def compute_laplacian(img, mask=None, eps=10**(-7), win_rad=1):
    """Computes Matting Laplacian for a given image.
    Args:
        img: 3-dim numpy matrix with input image
        mask: mask of pixels for which Laplacian will be computed.
            If not set Laplacian will be computed for all pixels.
        eps: regularization parameter controlling alpha smoothness
            from Eq. 12 of the original paper. Defaults to 1e-7.
        win_rad: radius of window used to build Matting Laplacian (i.e.
            radius of omega_k in Eq. 12).
    Returns: sparse matrix holding Matting Laplacian.
    """

    win_size = (win_rad * 2 + 1) ** 2
    h, w, d = img.shape
    # Number of window centre indices in h, w axes
    c_h, c_w = h - 2 * win_rad, w - 2 * win_rad
    win_diam = win_rad * 2 + 1

    indsM = np.arange(h * w).reshape((h, w))
    ravelImg = img.reshape(h * w, d)
    win_inds = _rolling_block(indsM, block=(win_diam, win_diam))

    win_inds = win_inds.reshape(c_h, c_w, win_size)
    if mask is not None:
        mask = cv2.dilate(
            mask.astype(np.uint8),
            np.ones((win_diam, win_diam), np.uint8)
        ).astype(np.bool)
        win_mask = np.sum(mask.ravel()[win_inds], axis=2)
        win_inds = win_inds[win_mask > 0, :]
    else:
        win_inds = win_inds.reshape(-1, win_size)


    winI = ravelImg[win_inds]

    win_mu = np.mean(winI, axis=1, keepdims=True)
    win_var = np.einsum('...ji,...jk ->...ik', winI, winI) / win_size - np.einsum('...ji,...jk ->...ik', win_mu, win_mu)

    inv = np.linalg.inv(win_var + (eps/win_size)*np.eye(3))

    X = np.einsum('...ij,...jk->...ik', winI - win_mu, inv)
    vals = np.eye(win_size) - (1.0/win_size)*(1 + np.einsum('...ij,...kj->...ik', X, winI - win_mu))

    nz_indsCol = np.tile(win_inds, win_size).ravel()
    nz_indsRow = np.repeat(win_inds, win_size).ravel()
    nz_indsVal = vals.ravel()
    L = scipy.sparse.coo_matrix((nz_indsVal, (nz_indsRow, nz_indsCol)), shape=(h*w, h*w))
    return L


def closed_form_matting_with_prior(image, prior, prior_confidence, consts_map=None):
    """Applies closed form matting with prior alpha map to image.
    Args:
        image: 3-dim numpy matrix with input image.
        prior: matrix of same width and height as input image holding apriori alpha map.
        prior_confidence: matrix of the same shape as prior hodling confidence of prior alpha.
        consts_map: binary mask of pixels that aren't expected to change due to high
            prior confidence.
    Returns: 2-dim matrix holding computed alpha map.
    """

    assert image.shape[:2] == prior.shape, ('prior must be 2D matrix with height and width equal '
                                            'to image.')
    assert image.shape[:2] == prior_confidence.shape, ('prior_confidence must be 2D matrix with '
                                                       'height and width equal to image.')
    assert (consts_map is not None) or image.shape[:2] == consts_map.shape, (
        'consts_map must be 2D matrix with height and width equal to image.')

    logging.info('Computing Matting Laplacian.')
    laplacian = compute_laplacian(image, ~consts_map if consts_map is not None else None)

    confidence = scipy.sparse.diags(prior_confidence.ravel())
    logging.info('Solving for alpha.')
    solution = scipy.sparse.linalg.spsolve(
        laplacian + confidence,
        prior.ravel() * prior_confidence.ravel()
    )
    alpha = np.minimum(np.maximum(solution.reshape(prior.shape), 0), 1)
    return alpha

上述代码中的一些解释：
1、numpy.einsum(subscripts, *operands, out=None, dtype=None, order=’K’, casting=’safe’, optimize=False)
解释：
einsum全称为Einstein summation convention，是一种求和的范式，在很多基于多维张量的张量运算库，如numpy,tensorflow,pytorch中都有所应用。einsum可以用一种很简单的，统一的方式去表示很多多维张量的运算。详细的解释可以参考：
https://blog.csdn.net/LoseInVain/article/details/81143966

2、scipy.sparse.linalg.spsolve
scipy.sparse.linalg.spsolve(A, b, permc_spec=None, use_umfpack=True)
Solve the sparse linear system Ax=b, where b may be a vector or a matrix.

由上述代码可见函数 closed_form_matting_with_prior() 的求解过程与公式（14）是一致的。

参考文献：
【1】《A Closed-Form Solution to Natural Image Matting》