AI笔记: 计算机视觉之基于Harris角点检测

$\sum [I(x+u,y+v) - I(x,y)]^2$

$\approx \sum [I(x,y) + uI_x + vI_y - I(x,y)]^2$

$= \sum u^2I_x^2 + 2uvI_xI_y + v^2I_y^2$

$= \sum \begin{bmatrix} u & v \end{bmatrix} \begin{bmatrix} I_x^2 & I_xI_y \\ I_xI_y & I_y^2 \end{bmatrix} \begin{bmatrix} u \\ v \end{bmatrix}$

$= \begin{bmatrix} u & v \end{bmatrix} (\sum \begin{bmatrix} I_x^2 & I_xI_y \\ I_xI_y & I_y^2 \end{bmatrix}) \begin{bmatrix} u \\ v \end{bmatrix}$

$E(u,v) \cong [u,v] M \begin{bmatrix} u \\ v \end{bmatrix}$

$M = \sum_{x,y} w(x,y) \begin{bmatrix} I_x^2 & I_xI_y \\ I_xI_y & I_y^2 \end{bmatrix}$

权值的作用：在前面举例用到的窗口是3 * 3规格的，在计算角点的时候，我们往往考虑3 * 3窗口的中心点是不是我们最终要检测的角点, 这样越往边上对我们中心点的影响就越小, 这里 $w(x,y)$ 是权重的系数，它标志着我们检测角点时，计算的方格内的灰度累加值，越往边上它的贡献值越小
只有灰度积分在任意方向变化比较剧烈时，我们才认为它是一个角点，我们接下来要度量，怎么知道 $E(u,v)$ 沿着任意的方向变化都比较剧烈
E是一个二次型，即

上图 $Au^2 + Bv^2 + 2Cuv$ 是一个对应椭圆的方程, 忽略参数 $2Cuv$ 和下面的方程可以相互转换
A越大, a越小，形成反比例的关系
椭圆图上的橙色和蓝色的两个轴对应的是a和b, 比如轴a越短，对应的A越大，说明E变化的越快速, 所以蓝色轴短代表它对应快速变化的方向
$2Cuv$ 是u和v的耦合项，对应了坐标旋转，导致了椭圆的歪
从2 * 2的矩阵M中分离出A和B, 分离的方式是采用特征值分解, 进一步可以证明对应2 * 2的矩阵M 有两个特征值 $\lambda_1$ 、 $\lambda_2$
$\lambda_1^{-1/2}$ 和 $\lambda_2^{-1/2}$ 是椭圆的长短轴
- 当 $\lambda_1, \lambda_2$ 都比较小时, 点 $(x,y)$ 处于灰度变化平缓区域
- 当 $\lambda_1 >> \lambda_2$ 或者 $\lambda_1 << \lambda_2$ 时，说明一个方向变化剧烈，点 $(x,y)$ 为边界像素
- 当 $\lambda_1, \lambda_2$ 都比较大，且近似相等时，有个比较小的u,v, E值就会产生比较大的变化, 点 $(x,y)$ 为角点
在实际应用中 $\lambda_1$ 和 $\lambda_2$ 的小和大比较抽象, 在实际计算时，就会出现问题, 不同场景中有不同的结果, 我们希望一个智能自动的算法，Harris提出了一个角点响应函数的概念

$R = detM - k(traceM)^2$

$traceM = \lambda_1 + \lambda_2$

$detM = \lambda_1 \lambda_2$

python版本

dst = cv.cornerHarris( src, blockSize, ksize, k[, dst[, borderType]] )

1 ）棋盘格

2 ）房屋

发布了431 篇原创文章 · 获赞 251 · 访问量 71万+