论文题目：High-Speed Tracking with Kernelized Correlation Filters
作者主页：http://www.robots.ox.ac.uk/~joao/circulant/

在非线性回归条件下，最终的滤波器解为

α^= y ^ k ^ x x + λ (1)

$\hat \alpha {\rm{ = }}\frac{{{\bf{\hat y}}}}{{{{ \bf \hat k}^{{\bf{xx}}}} + \lambda }} \tag1$

其中，若采用高斯核，则

k x x = exp (- 1 σ 2 (∥ x ∥ 2 + ∥ x ∥ 2 - 2 F - 1 (x^* ⊙ x^*))) (2)

${{\bf{k}}^{{\bf{xx}}}} = \exp \left( { - \frac{1}{{{\sigma ^2}}}\left( {{{\left\| {\bf{x}} \right\|}^2} + {{\left\| {\bf{x}} \right\|}^2} - 2{{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {{{\bf{\hat x}}}^ * }} \right)} \right)} \right) \tag 2$

以下是该公式的推导过程。

1. 将线性问题的输入映射到非线性特征空间

该过程包含两个方面：

（1）将线性滤波器的解 $\bf w$ 1用样本的线性组合来表示

扫描二维码关注公众号，回复： 1788603 查看本文章

w = \sum i α i φ (x i) (3)

${\bf{w}} = \sum\limits_i {{\alpha _i}\varphi \left( {{{\bf{x}}_i}} \right)} \tag 3$

在这样的条件下，最优化下的变量不再是 $\bf w$ ，而是 $\bf \alpha$ 。该表达式是在对偶空间中进行的（此处需要参考SVM相关理论，此处不再赘述）。

（2）用点积进行表示：

φ T (x) φ (x') = K (x, x') (4)

${\varphi ^T}\left( {\bf{x}} \right)\varphi \left( {{\bf{x'}}} \right) = {\cal K}\left( {{\bf{x}},{\bf{x'}}} \right) \tag 4$

因此，在线性条件下的回归问题： $f\left( {\bf{z}} \right) = {{\bf{w}}^T}{\bf{z}}$ ，经过非线性变换后的表达式为

f (z) = w T z = (\sum i = 1 n α i φ (x i)) T \cdot φ (z) = \sum i = 1 n α i K (z, x i) (5)

$\begin{array}{l} f\left( {\bf{z}} \right) & = {{\bf{w}}^T}{\bf{z}}\\ & = {\left( {\sum\limits_{i = 1}^n {{\alpha _i}} \varphi \left( {{{\bf{x}}_i}} \right)} \right)^T} \cdot \varphi \left( {\bf{z}} \right)\\ & = \sum\limits_{i = 1}^n {{\alpha _i}} {\cal K}\left( {{\bf{z}},{{\bf{x}}_i}} \right) \end{array} \tag 5$

其中 $n$ 表示 $n$ 个训练样本（参考KCF论文4.2节末尾及5.1节公式(15)相关表述）。

2. 推导核化滤波器

在核函数情况下，岭回归问题的解为

α = (K + λ I) - 1 y (6)

${\bf{\alpha }} = {\left( {K + \lambda I} \right)^{ - 1}}{\bf{y}} \tag 6$

其中， $\bf \alpha$ 是由各个系数 $\alpha_i$ 组成的向量， $K$ 是核矩阵，其各个元素的定义是： $K_{ij}=\cal K \left( {\bf x}_i, {\bf x}_j \right)$ ， $\lambda$ 是正则项系数。里面的 $\bf x$ 和 $\bf y$ 都是训练集中的数据。公式(6)的推导过程可以参考Max Welling的Kernel ridge Regression，此处不再赘述。

利用循环矩阵的有关特性，对公式(6)进行对角化处理，可以提高计算效率。

2.1 Base sample + 置换矩阵 ⇒ 循环矩阵

训练时，采集一个感兴趣的图像块，将其拉伸为一个列向量作为基础样本（base sample），记作 ${\bf{x}} = {\left[ {\begin{array}{*{20}{c}}{{x_1}}&{{x_2}}& \cdots &{{x_n}}\end{array}} \right]^T}$ ，现在给定一个置换矩阵（permutation matrix）

P = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ 010 ⋮ 0 001 ⋮ 0 000 ⋱ \dots \dots \dots \dots ⋱ 1 100 ⋮ 0 ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥

$P = \left[ {\begin{array}{*{20}{c}} 0&0&0& \cdots &1\\ 1&0&0& \cdots &0\\ 0&1&0& \cdots &0\\ \vdots & \vdots & \ddots & \ddots & \vdots \\ 0&0& \cdots &1&0 \end{array}} \right]$
尝试计算

P0x ${P^0}{\bf{x}}$ ，得

x1=x=[x1x2⋯xn]T ${\bf x}_1={\bf x}={\left[ {\begin{array}{*{20}{c}}{{x_1}}&{{x_2}}& \cdots &{{x_n}}\end{array}} \right]^T}$ .

尝试计算 ${P^1}{\bf{x}}$ ，得 ${\bf x}_2={\left[ {\begin{array}{*{20}{c}}{{x_n}}&{{x_1}}& \cdots &{{x_{n - 1}}}\end{array}} \right]^T}$ .

尝试计算 ${P^2}{\bf{x}}=P \left( P \bf x \right)$ ，得 ${\bf x}_3={\left[ {\begin{array}{*{20}{c}}{{x_n-1}}&{{x_n}}& \cdots &{{x_{n - 2}}}\end{array}} \right]^T}$ .

…

尝试计算 ${P^{n-1}}{\bf{x}}=P \dots \left( P \bf x \right)$ ，得 ${\bf x}_n={\left[ {\begin{array}{*{20}{c}}{{x_2}}&{{x_3}}& \cdots &{{x_{1}}}\end{array}} \right]^T}$ .

由此可以将上述 ${\bf x}_1, {\bf x}_2, \dots, {\bf x}_n$ 向量组合起来，构成一个循环矩阵 $X$ .

2.2 一个重要结论

首先指出该重要结论（即KCF论文中的Theorem 1）：假设存在一种核函数 $\cal K$ ，满足 ${\cal K} \left( {\bf x}_1, {\bf x}_2 \right) = {\cal K} \left( M{\bf x}_1, M{\bf x}_2 \right)$ ，那么相关核矩阵 $K$ 也是循环矩阵，且 $K=C\left( {\bf k}^{\bf xx} \right)$ ，其中 $M$ 是一种置换矩阵（permutation matrix）， ${\bf k}^{\bf xx}$ 是相关核矩阵 $K$ 的第一行，现在证明 $K=C\left( {\bf k}^{\bf xx} \right)$ .

证明：根据矩阵 $K$ 的定义 $K_{ij}=\cal K \left( {\bf x}_i, {\bf x}_j \right)$ ，其中 ${\bf x}_i$ 表示训练样本集 $X$ 中的一个移位样本（参考KCF论文4.1节中的表述），可以将矩阵 $K$ 表示为如下矩阵（假设矩阵有4行4列）：

数据内容：
$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$	$K_{12}=\cal K \left( {\bf x}_1, {\bf x}_2 \right)$	$K_{13}=\cal K \left( {\bf x}_1, {\bf x}_3 \right)$	$K_{14}=\cal K \left( {\bf x}_1, {\bf x}_4 \right)$
$K_{21}=\cal K \left( {\bf x}_2, {\bf x}_1 \right)$	$K_{22}=\cal K \left( {\bf x}_2, {\bf x}_2 \right)$	$K_{23}=\cal K \left( {\bf x}_2, {\bf x}_3 \right)$	$K_{24}=\cal K \left( {\bf x}_2, {\bf x}_4 \right)$
$K_{31}=\cal K \left( {\bf x}_3, {\bf x}_1 \right)$	$K_{32}=\cal K \left( {\bf x}_3, {\bf x}_2 \right)$	$K_{33}=\cal K \left( {\bf x}_3, {\bf x}_3 \right)$	$K_{34}=\cal K \left( {\bf x}_3, {\bf x}_4 \right)$
$K_{41}=\cal K \left( {\bf x}_4, {\bf x}_1 \right)$	$K_{42}=\cal K \left( {\bf x}_4, {\bf x}_2 \right)$	$K_{43}=\cal K \left( {\bf x}_4, {\bf x}_3 \right)$	$K_{44}=\cal K \left( {\bf x}_4, {\bf x}_4 \right)$

同时根据定义， ${\bf k}^{\bf xx}$ （即 ${\bf k}^{{\bf x}_1{\bf x}_1}$ ）是核矩阵 $K$ 的第一行，也可以将 ${\bf k}^{\bf xx}$ 表示为如下向量：

数据内容：
$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$	$K_{12}=\cal K \left( {\bf x}_1, {\bf x}_2 \right)$	$K_{13}=\cal K \left( {\bf x}_1, {\bf x}_3 \right)$	$K_{14}=\cal K \left( {\bf x}_1, {\bf x}_4 \right)$

现在，观察 $K_{11}$ 和 $K_{22}$ ，从矩阵数据可知，则

K 11 = K (x 1, x 1)

$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$

K 22 = K (x 2, x 2)

$K_{22}=\cal K \left( {\bf x}_2, {\bf x}_2 \right)$

而 ${\cal K} \left( {\bf x}_2, {\bf x}_2 \right)={\cal K} \left( M{\bf x}_1, M{\bf x}_1 \right)$ ，其中 $M$ 是一种置换矩阵（permutation matrix），因为训练数据集 $X$ 为循环矩阵（参考线性滤波器的解 $\bf w$ 2），而在循环矩阵中， ${\bf x}_2$ 可以由一个置换矩阵（permutation matrix）乘以它前面的 ${\bf x}_1$ 得到，也就是 ${\bf x}_2 = M{\bf x}_1$ ，从而 ${\cal K} \left( {\bf x}_2, {\bf x}_2 \right)={\cal K} \left( M{\bf x}_1, M{\bf x}_1 \right)$ .

另外前面已经做好假设，存在一种核函数 $\cal K$ ，满足 ${\cal K} \left( {\bf x}_1, {\bf x}_2 \right) = {\cal K} \left( M{\bf x}_1, M{\bf x}_2 \right)$ ，这样可以得出结论 $K_{11}=K_{22}$ ，同理，还可以得出： $K_{12}=K_{23}$ 、 $K_{13}=K_{24}$ 、 $K_{14}=K_{21}$ …这样可以得出矩阵 $K$ 的另一种表示：

数据内容：
$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$	$K_{12}=\cal K \left( {\bf x}_1, {\bf x}_2 \right)$	$K_{13}=\cal K \left( {\bf x}_1, {\bf x}_3 \right)$	$K_{14}=\cal K \left( {\bf x}_1, {\bf x}_4 \right)$
$K_{14}=\cal K \left( {\bf x}_1, {\bf x}_4 \right)$	$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$	$K_{12}=\cal K \left( {\bf x}_1, {\bf x}_2 \right)$	$K_{13}=\cal K \left( {\bf x}_1, {\bf x}_3 \right)$
$K_{13}=\cal K \left( {\bf x}_1, {\bf x}_3 \right)$	$K_{14}=\cal K \left( {\bf x}_1, {\bf x}_4 \right)$	$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$	$K_{12}=\cal K \left( {\bf x}_1, {\bf x}_2 \right)$
$K_{12}=\cal K \left( {\bf x}_1, {\bf x}_2 \right)$	$K_{13}=\cal K \left( {\bf x}_1, {\bf x}_3 \right)$	$K_{14}=\cal K \left( {\bf x}_1, {\bf x}_4 \right)$	$K_{11}=\cal K \left( {\bf x}_1, {\bf x}_1 \right)$

观察该矩阵数据，可以发现该矩阵的第二行是第一行的位移，第三行又是第二行的位移…，这就是 $C\left( {\bf k}^{\bf xx} \right)$ ，因此

K = C (k x x) (7)

$K=C\left( {\bf k}^{\bf xx} \right) \tag 7$

证明完毕。

进一步结合本笔记2.1节中关于置换矩阵（permutation matrix）的移位作用，我们有

k x x' i = K (x', P i - 1 x) (7.1)

$k_i^{{\bf{xx'}}} = {\cal K}\left( {{\bf{x'}},{P^{i - 1}}{\bf{x}}} \right) \tag{7.1}$

从核函数角度来看，上式即为

k x x' i = ϕ T (x') ϕ (P i - 1 x) (7.2)

$k_i^{{\bf{xx'}}} = {\phi ^T}\left( {{\bf{x'}}} \right)\phi \left( {{P^{i - 1}}{\bf{x}}} \right) \tag {7.2}$

2.3 核化滤波器表达式

从前述公式(6)开始，利用2.2节的重要结论，将公式(6)中的矩阵 $K$ 用 $C\left( {\bf k}^{\bf xx} \right)$ 代替，得到下式：

α = [C (k x x) + λ I] - 1 y = [F d i a g (k^x x) F H + λ I] - 1 y (8)

$\begin{array}{l}{\bf{\alpha }} & = {\left[ {C\left( {\bf k}^{\bf xx} \right) + \lambda I} \right]^{ - 1}}{\bf{y}} \\ & = {\left[ {F{\rm{diag}}\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}}} \right){F^H} + \lambda I} \right]^{ - 1}}{\bf{y}}\end{array} \tag 8$

公式(8)中的 $C\left( {\bf k}^{\bf xx} \right)$ 可以用 ${F{\rm{diag}}\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}}} \right){F^H}}$ 代替，这是由循环矩阵的特性决定的，见线性滤波器公式推导中的(3)式3。

现在利用傅里叶矩阵 $F$ 的幺正性（unitarity）即： $FF^H=I$ ，可以进一步将公式(8)改写为

α = [F d i a g (k^x x) F H + λ F I F H] - 1 y = [F d i a g (k^x x) F H + F d i a g (λ) F H] - 1 y = F d i a g (k^x x + λ) - 1 F H y (9)

$\begin{array}{l}{\bf{\alpha }} & = {\left[ {F{\rm{diag}}\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}}} \right){F^H} + \lambda FI{F^H}} \right]^{ - 1}}{\bf{y}}\\ & = {\left[ {F{\rm{diag}}\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}}} \right){F^H} + F{\rm{diag}}\left( \lambda \right){F^H}} \right]^{ - 1}}{\bf{y}}\\ & = F{\rm{diag}}{\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda } \right)^{ - 1}}{F^H}{\bf{y}} \end{array} \tag 9$
将公式(9)两边同时左乘

FH $F^H$ ，得到

F H α = F H F d i a g (k^x x + λ) - 1 F H y = d i a g (k^x x + λ) - 1 F H y (10)

$\begin{array}{l} {F^H}{\bf{\alpha }} & = {F^H}F{\rm{diag}}{\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda } \right)^{ - 1}}{F^H}{\bf{y}}\\ & = {\rm{diag}}{\left( {{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda } \right)^{ - 1}}{F^H}{\bf{y}} \end{array} \tag {10}$
根据傅里叶变换的定义，我们可以将

Fα $F \bf \alpha$ 表示为

α^ ${{\bf{\hat \alpha }}}$ ，那么公式(10)中的

FHα $F^H \bf \alpha$ 可以表示为

[α^∗]T ${\left[ {{{{\bf{\hat \alpha }}}^ * }} \right]^T}$ （因为

FH=(F∗)T ${F^H} = {\left( {{F^ * }} \right)^T}$ ，右上角的星号表示共轭矩阵），这样公式(10)可以改写为

[α^*] T α^* = d i a g (1 k ^ x x + λ) [y^*] T = d i a g (1 k ^ x x + λ) y^* (11)

$\begin{array}{l} {\left[ {{{{\bf{\hat \alpha }}}^ * }} \right]^T} & = {\rm{diag}}\left( {\frac{1}{{{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda }}} \right){\left[ {{{{\bf{\hat y}}}^ * }} \right]^T}\\ {{{\bf{\hat \alpha }}}^ * } & = {\rm{diag}}\left( {\frac{1}{{{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda }}} \right){{{\bf{\hat y}}}^ * } \end{array} \tag {11}$
由于一个对角矩阵（diagonal matrix）与一个向量相乘，相当于元素级的乘法，因此

α^* = y ^ * k ^ x x + λ (12)

${{{\bf{\hat \alpha }}}^ * } = {\frac{{{{{\bf{\hat y}}}^ * }}}{{{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda }}} \tag {12}$
最后，等式两边同时取共轭，有

α^= y ^ k ^ x x + λ (13)

${\bf{\hat \alpha }} = {\frac{{{\bf{\hat y}}}}{{{{{\bf{\hat k}}}^{{\bf{xx}}}} + \lambda }}} \tag {13}$
其中，

kxx ${\bf k}^{\bf xx}$ （即

kx1x1 ${\bf k}^{{\bf x}_1{\bf x}_1}$ ）是核矩阵

K $K$ 的第一行，这样非线性滤波器的推导就完成了。

3. 快速检测

上文已经推导出了非线性条件下滤波器的求解公式，在得到了滤波器后，我们可以对视频中某一帧中的图像块进行检测以求出目标的位置，这样待检测的图像块称之为 $\bf z$ 。

3.1 快速检测表达式引入

回顾公式(5)

f (z) = w T z = (\sum i = 1 n α i φ (x i)) T \cdot φ (z) = \sum i = 1 n α i K (z, x i) (5)

f(z) $f \left( \bf z \right)$ 是一个标量，它表示某一个样本的回归值。再回顾公式(6)

α = (K + λ I) - 1 y (6)

${\bf{\alpha }} = {\left( {K + \lambda I} \right)^{ - 1}}{\bf{y}} \tag 6$
可得

y = K α (14)

${\bf{y}} = K{\bf{\alpha }} \tag {14}$
注意：岭回归问题中，正则项仅仅用来求解

α $\bf \alpha$ ，在求解回归值时不需要正则项。

论文认为：为了检测到目标，应该从多个候选样本中进行评估（见论文5.3节），仍然采用循环矩阵，对待检测的图像块 $\bf z$ 进行循环化，那么在目标检测的场景下，(14)式可表示为

f (z) = (K z) T α (15)

${\bf{f}}\left( {\bf{z}} \right) = {\left( {{K^{\bf{z}}}} \right)^T}{\bf{\alpha }} \tag {15}$
其中，

Kz $K^{\bf z}$ 表示训练样本与候选样本之间的核矩阵，它是一个非对称阵（asymmetric matrix），

Kz $K^{\bf z}$ 的每个元素值定义为：

Kzij=K(Pi−1z,Pj−1x) $K_{ij}^{\bf{z}} = {\cal K}\left( {{P^{i - 1}}{\bf{z}},{P^{j - 1}}{\bf{x}}} \right)$ ，

P $P$ 是置换矩阵，其作用是实现位移。

3.2 快速检测表达式推导

现在推导上述公式（15），由公式(5)可以推出

f (z) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \sum i = 1 n α i K (z 1, x i) \sum i = 1 n α i K (z 2, x i) \sum i = 1 n α i K (z 3, x i) ⋮ \sum i = 1 n α i K (z m, x i) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ \sum i = 1 n K (z 1, x i) α i \sum i = 1 n K (z 2, x i) α i \sum i = 1 n K (z 3, x i) α i ⋮ \sum i = 1 n K (z m, x i) α i ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ (16)

${\bf{f}}\left( {\bf{z}} \right) = \left[ \begin{array}{l} \sum\limits_{i = 1}^n {{\alpha _i}{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_i}} \right)} \\ \sum\limits_{i = 1}^n {{\alpha _i}{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_i}} \right)} \\ \sum\limits_{i = 1}^n {{\alpha _i}{\cal K}\left( {{{\bf{z}}_3},{{\bf{x}}_i}} \right)} \\ \vdots \\ \sum\limits_{i = 1}^n {{\alpha _i}{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_i}} \right)} \end{array} \right] = \left[ \begin{array}{l} \sum\limits_{i = 1}^n {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_i}} \right){\alpha _i}} \\ \sum\limits_{i = 1}^n {{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_i}} \right){\alpha _i}} \\ \sum\limits_{i = 1}^n {{\cal K}\left( {{{\bf{z}}_3},{{\bf{x}}_i}} \right){\alpha _i}} \\ \vdots \\ \sum\limits_{i = 1}^n {{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_i}} \right){\alpha _i}} \end{array} \right] \tag {16}$
其中

m $m$ 表示

m $m$ 个候选样本，

f(z) $\bf f \left( \bf z \right)$ 中的各个元素是样本

z1 ${\bf z}_1$ （也记作

z $\bf z$ ）的循环移位样本。

将公式（16）展开，可得

f (z) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ K (z 1, x 1) K (z 2, x 1) ⋮ K (z m, x 1) K (z 1, x 2) K (z 2, x 2) ⋮ K (z m, x 2) \dots \dots ⋱ \dots K (z 1, x n) K (z 2, x n) ⋮ K (z m, x n) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ \cdot ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ α 1 α 2 ⋮ α n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ K (1, 1) K (1, 2) ⋮ K (1, n) K (2, 1) K (2, 2) ⋮ K (2, n) \dots \dots ⋱ \dots K (m, 1) K (m, 2) ⋮ K (m, n) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ T \cdot ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ α 1 α 2 ⋮ α n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ K (1, 1) K (1, 2) ⋮ K (1, n) K (2, 1) K (2, 2) ⋮ K (2, n) \dots \dots ⋱ \dots K (m, 1) K (m, 2) ⋮ K (m, n) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ T \cdot α (17)

$\begin{array}{l} \bf f\left( \bf z \right) &= \left[ {\begin{array}{*{20}{c}} {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_1}} \right)}&{{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_2}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_n}} \right)}\\ {{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_1}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_2}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_n}} \right)}\\ \vdots & \vdots & \ddots & \vdots \\ {{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_1}} \right)}&{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_2}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_n}} \right)} \end{array}} \right] \cdot \left[ {\begin{array}{*{20}{c}} {{\alpha _1}}\\ {{\alpha _2}}\\ \vdots \\ {{\alpha _n}} \end{array}} \right]\\ &= {\left[ {\begin{array}{*{20}{c}} {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_1}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_1}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_1}} \right)}\\ {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_2}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_2}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_2}} \right)}\\ \vdots & \vdots & \ddots & \vdots \\ {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_n}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_n}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_n}} \right)} \end{array}} \right]^T} \cdot \left[ {\begin{array}{*{20}{c}} {{\alpha _1}}\\ {{\alpha _2}}\\ \vdots \\ {{\alpha _n}} \end{array}} \right]\\ &= {\left[ {\begin{array}{*{20}{c}} {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_1}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_1}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_1}} \right)}\\ {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_2}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_2}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_2}} \right)}\\ \vdots & \vdots & \ddots & \vdots \\ {{\cal K}\left( {{{\bf{z}}_1},{{\bf{x}}_n}} \right)}&{{\cal K}\left( {{{\bf{z}}_2},{{\bf{x}}_n}} \right)}& \cdots &{{\cal K}\left( {{{\bf{z}}_m},{{\bf{x}}_n}} \right)} \end{array}} \right]^T} \cdot {\bf{\alpha }}\\ \end{array} \tag {17}$
再结合上述关于

Kz $K^{\bf z}$ 中各个元素的定义

Kzij=K(Pi−1z,Pj−1x) $K_{ij}^{\bf{z}} = {\cal K}\left( {{P^{i - 1}}{\bf{z}},{P^{j - 1}}{\bf{x}}} \right)$ ，不难发现

f (z) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ K (z, x) K (z, x) ⋮ K (z, x) K (z, x) K (z, x) ⋮ K (z, x) \dots \dots ⋱ \dots K (z, x) K (z, x) ⋮ K (z, x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ T \cdot α = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ K K ⋮ K K K ⋮ K \dots \dots ⋱ \dots K K ⋮ K ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ T \cdot α = (K z) T α (18)

$\begin{array}{*{20}{l}} {{\bf{f}}\left( {\bf{z}} \right)}&{ = {{\left[ {\begin{array}{*{20}{c}} {{\cal K}\left( {{P^0}{\bf{z}},{P^0}{\bf{x}}} \right)}&{{\cal K}\left( {{P^1}{\bf{z}},{P^0}{\bf{x}}} \right)}& \cdots &{{\cal K}\left( {{P^{m - 1}}{\bf{z}},{P^0}{\bf{x}}} \right)}\\ {{\cal K}\left( {{P^0}{\bf{z}},{P^1}{\bf{x}}} \right)}&{{\cal K}\left( {{P^1}{\bf{z}},{P^1}{\bf{x}}} \right)}& \cdots &{{\cal K}\left( {{P^{m - 1}}{\bf{z}},{P^1}{\bf{x}}} \right)}\\ \vdots & \vdots & \ddots & \vdots \\ {{\cal K}\left( {{P^0}{\bf{z}},{P^{n - 1}}{\bf{x}}} \right)}&{{\cal K}\left( {{P^1}{\bf{z}},{P^{n - 1}}{\bf{x}}} \right)}& \cdots &{{\cal K}\left( {{P^{m - 1}}{\bf{z}},{P^{n - 1}}{\bf{x}}} \right)} \end{array}} \right]}^T} \cdot {\bf{\alpha }}}\\ {}&\begin{array}{l} = {\left[ {\begin{array}{*{20}{c}} {K_{11}^{\bf{z}}}&{K_{21}^{\bf{z}}}& \cdots &{K_{m1}^{\bf{z}}}\\ {K_{12}^{\bf{z}}}&{K_{22}^{\bf{z}}}& \cdots &{K_{m2}^{\bf{z}}}\\ \vdots & \vdots & \ddots & \vdots \\ {K_{1n}^{\bf{z}}}&{K_{2n}^{\bf{z}}}& \cdots &{K_{mn}^{\bf{z}}} \end{array}} \right]^T} \cdot {\bf{\alpha }}\\ {\rm{ = }}{\left( {{K^{\bf{z}}}} \right)^T}{\bf{\alpha }} \end{array} \end{array} \tag {18}$

其中

K z = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ K z 11 K z 12 ⋮ K z 1 n K z 21 K z 22 ⋮ K z 2 n \dots \dots ⋱ \dots K z m 1 K z m 2 ⋮ K z m n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ (19)

${K^{\bf{z}}} = \left[ {\begin{array}{*{20}{c}} {K_{11}^{\bf{z}}}&{K_{21}^{\bf{z}}}& \cdots &{K_{m1}^{\bf{z}}}\\ {K_{12}^{\bf{z}}}&{K_{22}^{\bf{z}}}& \cdots &{K_{m2}^{\bf{z}}}\\ \vdots & \vdots & \ddots & \vdots \\ {K_{1n}^{\bf{z}}}&{K_{2n}^{\bf{z}}}& \cdots &{K_{mn}^{\bf{z}}} \end{array}} \right] \tag {19}$
至此，公式(15)推导完毕。

3.3 利用循环矩阵性质，对快速检测表达式进行优化

上述推导仅仅涉及到 $K^{\bf z}$ 的定义，并没有深入讨论其性质，现在首先给出结论： $K^{\bf z}$ 是一个循环矩阵，将其第一行记作为 ${\bf k}^{\bf xz}$ ，回顾2.2节的重要结论，可得

K z = C (k x z) (20)

$K^{\bf z}=C\left( {\bf k}^{\bf xz} \right) \tag {20}$

由此公式(15)可表示为

f (z) = [C (k x z)] T α (21)

${\bf{f}}\left( {\bf{z}} \right) = {\left[ {C\left( {{{\bf{k}}^{{\bf{xz}}}}} \right)} \right]^T}{\bf{\alpha }} \tag {21}$
利用循环矩阵的转置性质 4

X T = F \cdot d i a g ((x^) *) \cdot F H = C (x *) (22)

$\begin{array}{l} {X^T} &= {\cal F} \cdot {\rm{diag}}\left( {{{\left( {{\bf{\hat x}}} \right)}^ * }} \right) \cdot {{\cal F}^H}\\ &= C\left( {{{\bf{x}}^ * }} \right) \end{array} \tag {22}$
有

[C (k x z)] T = F \cdot d i a g ((x z) *) \cdot F H = C ((k x z) *) (23)

$\begin{array}{l} {\left[ {C\left( {{{\bf{k}}^{{\bf{xz}}}}} \right)} \right]^T} &= {\cal F} \cdot {\rm{diag}}\left( {{{\left( {{{{\bf{\hat k}}}^{{\bf{xz}}}}} \right)}^ * }} \right) \cdot {{\cal F}^H}\\ &= C\left( {{{\left( {{{\bf{k}}^{{\bf{xz}}}}} \right)}^ * }} \right) \end{array} \tag {23}$
于是，公式(21)可以改写为

f (z) = C ((k x z) *) \cdot α (24)

${\bf{f}}\left( {\bf{z}} \right) = C\left( {{{\left( {{{\bf{k}}^{{\bf{xz}}}}} \right)}^ * }} \right) \cdot {\bf{\alpha }} \tag {24}$
再将上式两边同时进行傅里叶变换，得

F (f (z)) = F (C ((k x z) *) \cdot α) (25)

${\cal F}\left( {{\bf{f}}\left( {\bf{z}} \right)} \right) = {\cal F}\left( {C\left( {{{\left( {{{\bf{k}}^{{\bf{xz}}}}} \right)}^ * }} \right) \cdot {\bf{\alpha }}} \right) \tag {25}$
利用循环矩阵的转置性质 5

F (X y) = F (C (x) y) = F * (x) ⊙ F (y) (26)

$\begin{array}{l} {\cal F}\left( {X{\bf{y}}} \right) &= {\cal F}\left( {C\left( {\bf{x}} \right){\bf{y}}} \right)\\ &= {{\cal F}^ * }\left( {\bf{x}} \right) \odot {\cal F}\left( {\bf{y}} \right) \end{array} \tag {26}$
利用循环矩阵的卷积性质 6，上述(25)式可以进一步改写为

F (f (z)) = F * ((k x z) *) ⊙ F (α) = F (k x z) ⊙ F (α) (27)

$\begin{array}{l} {\cal F}\left( {{\bf{f}}\left( {\bf{z}} \right)} \right) &= {{\cal F}^ * }\left( {{{\left( {{{\bf{k}}^{{\bf{xz}}}}} \right)}^ * }} \right) \odot {\cal F}\left( {\bf{\alpha }} \right)\\ &= {\cal F}\left( {{{\bf{k}}^{{\bf{xz}}}}} \right) \odot {\cal F}\left( {\bf{\alpha }} \right) \end{array} \tag {27}$
将上式两边的傅里叶变换符号改用hat符号表示，得

f^(z) = k^x z ⊙ α^(28)

${\bf{\hat f}}\left( {\bf{z}} \right) = {{{\bf{\hat k}}}^{{\bf{xz}}}} \odot {\bf{\hat \alpha }} \tag {28}$
这也就是KCF论文中的(22)式，至此快速检测公式的推导也就完成了。

循环矩阵转置性质：循环矩阵的转置也是一个循环矩阵（可以查看循环矩阵各元素排列证明），其特征值和原特征值共轭，即

$X T = F d i a g ((x^) *) F H (29)$ ${X^T} = Fdiag\left( {{{\left( {{\bf{\hat x}}} \right)}^ * }} \right){F^H} \tag {29}$
循环矩阵卷积性质：循环矩阵乘向量等价于生成向量的逆序和该向量卷积，可进一步转化为福利也变化相乘。注意卷积本身即包含逆序操作，另外利用了信号与系统中经典的“时域卷积，频域相乘”。卷积性质表示为
$F (X y) = F (C (x) y) = F (x ¯ * y) = F * (x) ⊙ F (y) (30)$ $\begin{array}{l} {\cal F}\left( {X{\bf{y}}} \right) &= {\cal F}\left( {C\left( {\bf{x}} \right){\bf{y}}} \right)\\ &= {\cal F}\left( {{\bf{\bar x}} * {\bf{y}}} \right)\\ &= {{\cal F}^ * }\left( {\bf{x}} \right) \odot {\cal F}\left( {\bf{y}} \right) \end{array} \tag {30}$
其中 ${{\bf{\bar x}}}$ 表示将 $\bf x$ 的元素倒序排列，星号表示共轭。

（摘自：循环矩阵傅里叶对角化）

4.快速核相关

在上述非线性滤波器求解以及快速检测的公式中，分别出现了 ${{\bf{k}}^{{\bf{xx}}}}$ 和 ${{\bf{k}}^{{\bf{xz}}}}$ 这样的表达式，它们被称为核相关（kernel correlation），核相关的求解与具体采用的核函数有关，不同的核函数具有不同的表达式。

4.1 点积与多项式核

点积核函数的形式为

K (x, x') = g (x T x') (31)

${\cal K}\left( {{\bf{x}},{\bf{x'}}} \right) = g\left( {{{\bf{x}}^T}{\bf{x'}}} \right) \tag {31}$

其中 $g$ 是某种核函数。本笔记在2.2节中（对应KCF论文5.2节）已经提及

k x x' i = K (x', P i - 1 x) (7.1)

$k_i^{{\bf{xx'}}} = {\cal K}\left( {{\bf{x'}},{P^{i - 1}}{\bf{x}}} \right) \tag {7.1}$

这样，可得

k x x' i = g (x' T P i - 1 x) (32)

$k_i^{{\bf{xx'}}} = g\left( {{{{\bf{x'}}}^T}{P^{i - 1}}{\bf{x}}} \right) \tag {32}$

将(32)式详细表示，有

k x x' 1 = g (x' T P 0 x) k x x' 2 = g (x' T P 1 x) k x x' 3 = g (x' T P 2 x) \dots (33)

$\begin{array}{l} k_1^{{\bf{xx'}}} = g\left( {{{{\bf{x'}}}^T}{P^0}{\bf{x}}} \right)\\ k_2^{{\bf{xx'}}} = g\left( {{{{\bf{x'}}}^T}{P^1}{\bf{x}}} \right)\\ k_3^{{\bf{xx'}}} = g\left( {{{{\bf{x'}}}^T}{P^2}{\bf{x}}} \right)\\ \cdots \end{array} \tag {33}$

由于函数 $g$ 中的操作是元素级的，因此将(33)式中的各个标量组成一个列向量，得

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ k x x' 1 k x x' 2 k x x' 3 \dots ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ g (x' T P 0 x) g (x' T P 1 x) g (x' T P 2 x) \dots ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ = g ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ x' T P 0 x x' T P 1 x x' T P 2 x \dots ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ = g (C (x) x') (34)

$\left[ \begin{array}{l} k_1^{{\bf{xx'}}}\\ k_2^{{\bf{xx'}}}\\ k_3^{{\bf{xx'}}}\\ \cdots \end{array} \right] = \left[ \begin{array}{l} g\left( {{{{\bf{x'}}}^T}{P^0}{\bf{x}}} \right)\\ g\left( {{{{\bf{x'}}}^T}{P^1}{\bf{x}}} \right)\\ g\left( {{{{\bf{x'}}}^T}{P^2}{\bf{x}}} \right)\\ \cdots \end{array} \right] = g\left( {\left[ \begin{array}{l} {{{\bf{x'}}}^T}{P^0}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^1}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^2}{\bf{x}}\\ \cdots \end{array} \right]} \right) = g\left( {C\left( {\bf{x}} \right){\bf{x'}}} \right) \tag {34}$

这里可以举一个例子来确认 $\left[ \begin{array}{c}{{{\bf{x'}}}^T}{P^0}{\bf{x}}\\{{{\bf{x'}}}^T}{P^1}{\bf{x}}\\{{{\bf{x'}}}^T}{P^2}{\bf{x}}\\\cdots \end{array} \right] = C\left( {\bf{x}} \right){\bf{x'}}$ ，令

$x' = ⎡ ⎣ ⎢ ⎢ ⎢ 1234 ⎤ ⎦ ⎥ ⎥ ⎥, x = ⎡ ⎣ ⎢ ⎢ ⎢ 0001 ⎤ ⎦ ⎥ ⎥ ⎥, P = ⎡ ⎣ ⎢ ⎢ ⎢ 0100001000011000 ⎤ ⎦ ⎥ ⎥ ⎥$ ${\bf{x'}} = \left[ \begin{array}{l} 1\\ 2\\ 3\\ 4 \end{array} \right],{\bf{x}} = \left[ \begin{array}{l} 0\\ 0\\ 0\\ 1 \end{array} \right],P = \left[ {\begin{array}{*{20}{c}} 0&0&0&1\\ 1&0&0&0\\ 0&1&0&0\\ 0&0&1&0 \end{array}} \right]$
则
$P 0 x = ⎡ ⎣ ⎢ ⎢ ⎢ 0001 ⎤ ⎦ ⎥ ⎥ ⎥, P 1 x = ⎡ ⎣ ⎢ ⎢ ⎢ 1000 ⎤ ⎦ ⎥ ⎥ ⎥, P 2 x = ⎡ ⎣ ⎢ ⎢ ⎢ 0100 ⎤ ⎦ ⎥ ⎥ ⎥, P 3 x = ⎡ ⎣ ⎢ ⎢ ⎢ 0010 ⎤ ⎦ ⎥ ⎥ ⎥, C (x) = ⎡ ⎣ ⎢ ⎢ ⎢ 0100001000011000 ⎤ ⎦ ⎥ ⎥ ⎥$ ${P^0}{\bf{x}} = \left[ \begin{array}{l} 0\\ 0\\ 0\\ 1 \end{array} \right],{P^1}{\bf{x}} = \left[ \begin{array}{l} 1\\ 0\\ 0\\ 0 \end{array} \right],{P^2}{\bf{x}} = \left[ \begin{array}{l} 0\\ 1\\ 0\\ 0 \end{array} \right],{P^3}{\bf{x}} = \left[ \begin{array}{l} 0\\ 0\\ 1\\ 0 \end{array} \right],C\left( {\bf{x}} \right) = \left[ {\begin{array}{*{20}{c}} 0&0&0&1\\ 1&0&0&0\\ 0&1&0&0\\ 0&0&1&0 \end{array}} \right]$
其中是将前面的 $P^0 {\bf x}, P^1 {\bf x}, P^2 {\bf x}, P^3 {\bf x}$ 变为行向量，再按行进行拼接而成（注：目前本人不确定这样按行拼接是否规范，只是这样做能够将KCF中的公式解释清楚）。

进一步，有

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ x' T P 0 x x' T P 1 x x' T P 2 x x' T P 3 x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = ⎡ ⎣ ⎢ ⎢ ⎢ 4123 ⎤ ⎦ ⎥ ⎥ ⎥, C (x) x' = ⎡ ⎣ ⎢ ⎢ ⎢ 4123 ⎤ ⎦ ⎥ ⎥ ⎥

$\left[ \begin{array}{l} {{{\bf{x'}}}^T}{P^0}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^1}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^2}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^3}{\bf{x}} \end{array} \right] = \left[ \begin{array}{l} 4\\ 1\\ 2\\ 3 \end{array} \right],C\left( {\bf{x}} \right){\bf{x'}} = \left[ \begin{array}{l} 4\\ 1\\ 2\\ 3 \end{array} \right]$
显然

⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ x' T P 0 x x' T P 1 x x' T P 2 x x' T P 3 x ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = C (x) x' (35)

$\left[ \begin{array}{l} {{{\bf{x'}}}^T}{P^0}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^1}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^2}{\bf{x}}\\ {{{\bf{x'}}}^T}{P^3}{\bf{x}} \end{array} \right] = C\left( {\bf{x}} \right){\bf{x'}} \tag {35}$
因此(34)式成立，其等式最左边的

⎡⎣⎢⎢⎢⎢⎢kxx′1kxx′2kxx′3⋯⎤⎦⎥⎥⎥⎥⎥ $\left[ \begin{array}{c}k_1^{{\bf{xx'}}}\\k_2^{{\bf{xx'}}}\\k_3^{{\bf{xx'}}}\\ \cdots \end{array} \right]$ 可以表示为

kxx′ ${{\bf{k}}^{{\bf{xx'}}}}$ ，这样

k x x' = g (C (x) x') (36)

${{\bf{k}}^{{\bf{xx'}}}} = g\left( {C\left( {\bf{x}} \right){\bf{x'}}} \right) \tag {36}$
根据(30)式循环矩阵卷积性质，有

F (C (x) x') C (x) x' g (C (x) x') = x^* ⊙ x' = F - 1 (x^* ⊙ x') = F - 1 (x^* ⊙ x') (37)

$\begin{array}{l} {\cal F}\left( {C\left( {\bf{x}} \right){\bf{x'}}} \right) &= {{{\bf{\hat x}}}^ * } \odot {\bf{x'}}\\ C\left( {\bf{x}} \right){\bf{x'}} &= {{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right)\\ g\left( {C\left( {\bf{x}} \right){\bf{x'}}} \right) &= {{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right) \end{array} \tag {37}$
其中，字母右上角的星号表示共轭矩阵，字母上方的hat标记表示傅里叶变换，它与

F $\cal F$ 表示相同的含义，

F−1 ${\cal F}^{-1}$ 表示傅里叶逆变换。(37)式也即

k x x' = g (F - 1 (x^* ⊙ x')) (38)

${{\bf{k}}^{{\bf{xx'}}}} = g\left( {{{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right)} \right) \tag {38}$
对于多项式核函数，其函数形式为

K (x, x') = g (x T x') = (x T x' + a) b (39)

${\cal K}\left( {{\bf{x}},{\bf{x'}}} \right) =g\left( {\bf x}^T {\bf x'} \right)= {\left( {{{\bf{x}}^T}{\bf{x'}} + a} \right)^b} \tag {39}$
将(39)式中的

xTx′ ${\bf x}^T{\bf x}'$ 看作一个整体

A $A$ ，有

g (A) = (A + a) b (40)

$g\left( A \right) = {\left( {A + a} \right)^b} \tag {40}$
现在令

A=F−1(x^∗⊙x′) $A = {{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right)$ ，那么

k x x' = g (A) = (A + a) b = (F - 1 (x^* ⊙ x') + a) b (41)

$\begin{array}{l} {{\bf{k}}^{{\bf{xx'}}}} &= g\left( A \right)\\ &= {\left( {A + a} \right)^b}\\ &= {\left( {{{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right) + a} \right)^b} \end{array} \tag {41}$
(41)式即为多项式核函数下的核相关，该式可用于滤波器的求解以及快速检测。

4.2 径向基函数7与高斯核

径向基核函数的形式为

K (x, x') = h (∥ ∥ x - x' ∥ ∥ 2) (42)

${{\cal K}}\left( {{\bf{x}},{\bf{x'}}} \right) = h\left( {{{\left\| {{\bf{x}} - {\bf{x'}}} \right\|}^2}} \right) \tag {42}$
与(32)式类似，可得

k x x' i = K (x', P i - 1 x) = h (∥ ∥ x' - P i - 1 x ∥ ∥ 2) = h (∥ ∥ x' ∥ ∥ 2 + ∥ ∥ P i - 1 x ∥ ∥ 2 - 2 x' T (P i - 1 x)) (43)

$\begin{array}{l} k_i^{{\bf{xx'}}} &= {\cal K}\left( {{\bf{x'}},{P^{i - 1}}{\bf{x}}} \right)\\ &= h\left( {{{\left\| {{\bf{x'}} - {P^{i - 1}}{\bf{x}}} \right\|}^2}} \right)\\ &= h\left( {{{\left\| {{\bf{x'}}} \right\|}^2} + {{\left\| {{P^{i - 1}}{\bf{x}}} \right\|}^2} - 2{{{\bf{x'}}}^T}\left( {{P^{i - 1}}{\bf{x}}} \right)} \right) \end{array} \tag {43}$
其中，

∥∥x′−Pi−1x∥∥2 ${{{\left\| {{\bf{x'}} - {P^{i - 1}}{\bf{x}}} \right\|}^2}}$ 表示欧氏距离（Euclidean distance） 8。

关于(43)式中 ${\left\| {{\bf{x'}} - {P^{i - 1}}{\bf{x}}} \right\|^2} = {\left\| {{\bf{x'}}} \right\|^2} + {\left\| {{P^{i - 1}}{\bf{x}}} \right\|^2} - 2{{{\bf{x'}}}^T}\left( {{P^{i - 1}}{\bf{x}}} \right)$ ，此处可以证明。

证明：令

a = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ a 1 a 2 ⋮ a n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥, b = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ b 1 b 2 ⋮ b n ⎤ ⎦ ⎥ ⎥ ⎥ ⎥

${\bf{a}} = \left[ \begin{array}{c} {a_1}\\ {a_2}\\ \vdots \\ {a_n} \end{array} \right],{\bf{b}} = \left[ \begin{array}{c} {b_1}\\ {b_2}\\ \vdots \\ {b_n} \end{array} \right]$

那么

∥ a - b ∥ 2 = (a 1 - b 1) 2 + (a 2 - b 2) 2 + \dots + (a n - b n) 2 = a 21 + b 21 + 2 a 1 b 1 + a 22 + b 22 + 2 a 2 b 2 + \dots + a 2 n + b 2 n + 2 a n b n = (a 21 + a 22 + \dots + a 2 n) + (b 21 + b 22 + \dots + b 2 n) + 2 (a 1 b 1 + a 2 b 2 + \dots + a n b n) = ∥ a ∥ 2 + ∥ b ∥ 2 + 2 a \cdot b = ∥ a ∥ 2 + ∥ b ∥ 2 + 2 a T b

$\begin{array}{l} {\left\| {{\bf{a}} - {\bf{b}}} \right\|^{\rm{2}}}{\rm{ = }}{\left( {{a_1} - {b_1}} \right)^2} + {\left( {{a_2} - {b_2}} \right)^2} + \cdots + {\left( {{a_n} - {b_n}} \right)^2}\\ = a_1^2 + b_1^2 + 2{a_1}{b_1} + a_2^2 + b_2^2 + 2{a_2}{b_2} + \cdots + a_n^2 + b_n^2 + 2{a_n}{b_n}\\ = \left( {a_1^2 + a_2^2 + \cdots + a_n^2} \right) + \left( {b_1^2 + b_2^2 + \cdots + b_n^2} \right) + 2\left( {{a_1}{b_1} + {a_2}{b_2} + \cdots + {a_n}{b_n}} \right)\\ = {\left\| {\bf{a}} \right\|^2} + {\left\| {\bf{b}} \right\|^2} + 2{\bf{a}} \cdot {\bf{b}}\\ = {\left\| {\bf{a}} \right\|^2} + {\left\| {\bf{b}} \right\|^2} + 2{{\bf{a}}^T}{\bf{b}} \end{array}$
即

∥a−b∥2=∥a∥2+∥b∥2−2aTb ${\left\| {{\bf{a}} - {\bf{b}}} \right\|^2} = {\left\| {\bf{a}} \right\|^2} + {\left\| {\bf{b}} \right\|^2} - 2{{\bf{a}}^T}{\bf{b}}$ 成立。

此外，(43)式可进一步简化为

k x x' i = h (∥ ∥ x' ∥ ∥ 2 + ∥ ∥ P i - 1 x ∥ ∥ 2 - 2 x' T (P i - 1 x)) = h (∥ ∥ x' ∥ ∥ 2 + ∥ x ∥ 2 - 2 x' T P i - 1 x) (44)

$\begin{array}{l} k_i^{{\bf{xx'}}} &= h\left( {{{\left\| {{\bf{x'}}} \right\|}^2} + {{\left\| {{P^{i - 1}}{\bf{x}}} \right\|}^2} - 2{{{\bf{x'}}}^T}\left( {{P^{i - 1}}{\bf{x}}} \right)} \right)\\ &= h\left( {{{\left\| {{\bf{x'}}} \right\|}^2} + {{\left\| {\bf{x}} \right\|}^2} - 2{{{\bf{x'}}}^T}{{P^{i - 1}}{\bf{x}}} } \right) \end{array} \tag {44}$

变化在于省略了一个置换矩阵系数 $P^{i-1}$ ，这是因为置换矩阵不影响 $\bf x$ 的范数。

现在回顾(32)式与(38)式

k x x' i = g (x' T P i - 1 x) (32)

$k_i^{{\bf{xx'}}} = g\left( {{{{\bf{x'}}}^T}{P^{i - 1}}{\bf{x}}} \right) \tag {32}$

k x x' = g (F - 1 (x^* ⊙ x')) (38)

${{\bf{k}}^{{\bf{xx'}}}} = g\left( {{{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right)} \right) \tag {38}$

可以构造出(44)式对应的向量版本

k x x' = h (∥ ∥ x' ∥ ∥ 2 + ∥ x ∥ 2 - 2 F - 1 (x^* ⊙ x')) = h (∥ ∥ P i - 1 x - x' ∥ ∥ 2) = h (∥ ∥ x - x' ∥ ∥ 2) (45)

$\begin{array}{l} {{\bf{k}}^{{\bf{xx'}}}} &= h\left( {{{\left\| {{\bf{x'}}} \right\|}^2} + {{\left\| {\bf{x}} \right\|}^2} - 2{{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right)} \right)\\ &= h\left( {{{\left\| {{P^{i - 1}}{\bf{x}} - {\bf{x'}}} \right\|}^2}} \right)\\ &= h\left( {{{\left\| {{\bf{x}} - {\bf{x'}}} \right\|}^2}} \right) \end{array} \tag {45}$
(45)式最后一步省略了

Pi−1 $P^{i-1}$ ，是因为置换矩阵不影响

x $\bf x$ 的范数。特别的，作为高斯核函数，其函数形式为

K (x, x') = exp (- 1 σ 2 ∥ ∥ x - x' ∥ ∥ 2) (46)

${\cal K}\left( {{\bf{x}},{\bf{x'}}} \right) = \exp \left( { - \frac{1}{{{\sigma ^2}}}{{\left\| {{\bf{x}} - {\bf{x'}}} \right\|}^2}} \right) \tag {46}$
这样，将(46)式代入到(45)式中，可得

k x x' = exp (- 1 σ 2 ∥ ∥ x - x' ∥ ∥ 2) = exp (- 1 σ 2 (∥ ∥ x' ∥ ∥ 2 + ∥ x ∥ 2 - 2 F - 1 (x^* ⊙ x'))) (47)

$\begin{array}{l} {{\bf{k}}^{{\bf{xx'}}}} &= \exp \left( { - \frac{1}{{{\sigma ^2}}}{{\left\| {{\bf{x}} - {\bf{x'}}} \right\|}^2}} \right)\\ &= \exp \left( { - \frac{1}{{{\sigma ^2}}}\left( {{{\left\| {{\bf{x'}}} \right\|}^2} + {{\left\| {\bf{x}} \right\|}^2} - 2{{\cal F}^{ - 1}}\left( {{{{\bf{\hat x}}}^ * } \odot {\bf{x'}}} \right)} \right)} \right) \end{array} \tag {47}$
(47)式即为高斯核函数下的核相关，该式可用于滤波器的求解以及快速检测。

本文的公式推导，离不开博主shenxiaolu1984、博主mhz9123、博主zwlq1314521等人的贡献，在此表示感谢！

线性条件下滤波器的解，其最终表达式为： $\hat {\bf{w}} = \frac{{{{\hat x}^ * } \odot \hat y}}{{{{\hat x}^ * } \odot \hat x + \lambda }}$ ，推导过程参考：http://blog.csdn.net/discoverer100/article/details/53835507 ↩
线性条件下滤波器的解，其最终表达式为： $\hat {\bf{w}} = \frac{{{{\hat x}^ * } \odot \hat y}}{{{{\hat x}^ * } \odot \hat x + \lambda }}$ ，推导过程参考：http://blog.csdn.net/discoverer100/article/details/53835507 ↩
线性条件下滤波器的解，其最终表达式为： $\hat {\bf{w}} = \frac{{{{\hat x}^ * } \odot \hat y}}{{{{\hat x}^ * } \odot \hat x + \lambda }}$ ，推导过程参考：http://blog.csdn.net/discoverer100/article/details/53835507 ↩
参考《循环矩阵傅里叶对角化》：http://blog.csdn.net/shenxiaolu1984/article/details/50884830 ↩
参考《循环矩阵傅里叶对角化》：http://blog.csdn.net/shenxiaolu1984/article/details/50884830 ↩
参考《循环矩阵傅里叶对角化》：http://blog.csdn.net/shenxiaolu1984/article/details/50884830 ↩
参考Radial basis function kernel - Wikipeia：https://en.wikipedia.org/wiki/Radial_basis_function_kernel ↩
参考Euclidean distance - Wikipedia：https://en.wikipedia.org/wiki/Euclidean_distance#Squared_Euclidean_distance ↩

KCF（核化相关滤波）跟踪公式推导笔记（2）——非线性滤波器的解、快速检测及快速核相关