基于LSH的目标追踪（Visual Tracking via Locality Sensitive Histograms）

一 . 什么是 LSH？
LSH即位置敏感直方图（ Locality Sensitive Histograms），是作者提出一种位置关联的图像统计特征。定义三维矩阵Q（i, j, nbins）统计一桩灰度图像的灰度分布。其中（i , j）为每个像素坐标，nbins为直方图bins的个数，nbins将灰度区间分段，属于某bin的像素在该Q（i , j , b）=1,反则Q（i , j , b）=0。
color_max = 255;
color_range = 0:color_max/nbin:color_max;
于是每个像素的分布特征为：Q(Iq , b) = Q (i , j , ?; 可以知道Q(Iq , b)是一个仅含一个非零项的单位向量。
现引出三种直方图：
传统 image histogram

该直方图统计图像的全局特征，不包含空间信息。
积分直方图（integral histogram）

该直方图统计每个像素前所有像素的积分直方图，是一种像素级统计特征，但没有距离考量，在目标追踪过程中，我们往往希望考察目标域附近小范围的特征，不希望背景信息带来干扰。
位置敏感直方图（LSH）

该直方图将距离纳入考量，在积分直方图基础上引入距离权重系数，这样背景因素干扰减小，可以更好地分析目标的外观特征。
当然上述积分是已当前像素位置作为上限的，因此只是像素左侧像素集合的积分直方图，考虑目标域的完整性需要整合右侧的积分直方图。

这就是论文里提出的LSH特征。论文作者给出提取图像每一个像素的LSH特征，在适当地方我给出注释：

% Demo for paper "Visual Tracking via Locality Sensitive Histograms" 
% by Shengfeng He, Qingxiong Yang, Rynson W.H. Lau, Jiang Wang, and Ming-Hsuan Yang
% To appear in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2013), Portland, June, 2013.
% hist_mtx output a (x,y,b) matrix
function hist_mtx = LSH(img, sigma, nbin)

    color_max = 255;
    color_range = 0:color_max/nbin:color_max;
    
    alpha_x = exp(-sqrt(2)/(sigma*size(img, 1)));
    alpha_y = exp(-sqrt(2)/(sigma*size(img, 2)));

    % compute Q
    q_mtx = zeros(size(img, 1), size(img, 2), nbin);%R x C x nbins , 每一层记录该bin中像素的分布
    for i=1:nbin
        tmp_img = img;

        mask_l = find(tmp_img >= color_range(i));%取upper
        mask_u = find(tmp_img < color_range(i+1));%取lower
        mask = intersect(mask_l, mask_u);    %求交集

        tmp_img(:) = 0;
        tmp_img(mask) = 1;
        q_mtx(:, :, i) = tmp_img;
    end

    % compute H and normalization factor
    hist_mtx = q_mtx;
    f_mtx = ones(size(q_mtx));

    % ------------x dimension
    % compute left part
    hist_mtx_l = hist_mtx;
    f_mtx_l = f_mtx;
    for i=2:size(hist_mtx, 2)
        hist_mtx_l(:, i, :) = hist_mtx_l(:, i, :) + alpha_x * hist_mtx_l(:, i-1, :);
        f_mtx_l(:, i, :) = f_mtx_l(:, i, :) + alpha_x * f_mtx_l(:, i-1, :);
    end
    % compute right part
    hist_mtx_r = hist_mtx;
    f_mtx_r = f_mtx;
    for i=(size(hist_mtx, 2)-1):-1:1
        hist_mtx_r(:, i, :) = hist_mtx_r(:, i, :) + alpha_x * hist_mtx_r(:, i+1, :);
        f_mtx_r(:, i, :) = f_mtx_r(:, i, :) + alpha_x * f_mtx_r(:, i+1, :);
    end
    % combine right and left parts
    hist_mtx = hist_mtx_r + hist_mtx_l - q_mtx;
    f_mtx = f_mtx_r + f_mtx_l - 1;

    % ------------y dimension 
    % compute left part
    hist_mtx_l = hist_mtx;
    f_mtx_l = f_mtx;
    for i=2:size(hist_mtx, 1)
        hist_mtx_l(i, :, :) = hist_mtx_l(i, :, :) + alpha_y * hist_mtx_l(i-1, :, :);
        f_mtx_l(i, :, :) = f_mtx_l(i, :, :) + alpha_y * f_mtx_l(i-1, :, :);
    end
    % compute right part
    hist_mtx_r = hist_mtx;
    f_mtx_r = f_mtx;
    for i=(size(hist_mtx, 1)-1):-1:1
        hist_mtx_r(i, :, :) = hist_mtx_r(i, :, :) + alpha_y * hist_mtx_r(i+1, :, :);
        f_mtx_r(i, :, :) = f_mtx_r(i, :, :) + alpha_y * f_mtx_r(i+1, :, :);
    end
    % combine right and left parts
    hist_mtx = hist_mtx_r + hist_mtx_l - q_mtx;
    f_mtx = f_mtx_r + f_mtx_l - 1;

    % normalize H using normailization factor
    hist_mtx = hist_mtx ./ f_mtx;

end

看完这个代码后，距离|p-q|表达的是街道距离并不是传统的都是距离。

二 . 光照不变性特征（IIF）

这一章作者提出一种光照不变性特征（IIF）提取方法, 该方法基于上文提及的LSH实现。举个例子，一张图片在不同的光照下某种响应却是一样的，如图：不同光照产生相同响应
假设光照变化满足仿射性，即

Ip是位置p之前像素，Ip’位置p是变化后的像素。仿射变换定义为Ap。定义Sp为以位置p为中心的窗口，bp为位置p的bin值。现在有两种直方图特征生成不变响应。

基于传统直方图(Hs)
定义响应为：

即在图像直方图中对区间[bp-rp , bp+rb]求和，可以看到rp决定着积分区间。在光照变化过程中，rp尺度也会线性变化即
**rp变化后，在新的积分区间内，忽略量化误差，式12的响应值会保持不变！**这就是光照不变特征的核心思想，但是估计仿射变换即求出a1,p和a2,p比较困难，因此作者提出另一种rp表示方式：

这里k=0.1 ,Ip是窗口中心像素值，¯Ip是窗口像素的均值。为了验证式14的可靠性，有

说明式14式是成立的。
基于位置敏感直方图（LSH）
上述方法，对于一个可靠窗口获得要求很高，在这个窗口里，光照变化要具有一致性即每个像素点进行一样的仿射变换。这在实际中很难获取的，因此作者提出一种考量全体像素而不仅是窗口像素的方法，即引入LSH特征。这里将HE替换HS，并对式12稍加改造：

注意到,rp可用kIp替代。

这样图像每个像素都能产生不变的响应，因而可以在不同光照下得到相似的特征。

基于LSH的目标追踪（Visual Tracking via Locality Sensitive Histograms）

猜你喜欢