前面一篇已经实现基本的手势识别功能，不过仍然存在很多问题。
问题如下：
（1）复杂的背景和光线的变化
在复杂的背景下，很难提取到精确的手势区域，特别是基于肤色的模型很容易受到背景中类肤色物体的影响。并且在复杂的背景下很难找到合适的模型和图像匹配的方法，难以保证识别系统的鲁棒性。复杂背景下光照的变化会使肤色随照明条件的不同而有所差异，会导致基于肤色的分割和跟踪方法性能不稳定。因此，在复杂环境和不同光照条件下进行肤色分割的鲁棒性研究一直是研究的一个方向。
光线的变化是严重影响手势分割和跟踪结果鲁棒性的主要因素之一。在不同的光照条件下，手势分割的效果相差殊，跟踪性能变得很不稳定，很容易导致跟踪失败。
对于光线干扰这一块通常的优化方向有：图像增强，白平衡算法。其中，图像增强即由于获取图像时外部环境(如光照条件等)和内部环境(如相机内部参数)的影响，导致最终获取的图像中感兴趣的区域被淹没在图像中，不够明显。图像增强的目的旨在通过一定的技术手段凸显要研究的区域。白平衡光照情况的改变会导致拍摄的物体表面色彩发生偏移，白平衡(Lam et al,2008)的目的就是通过估计环境光照对拍摄物体颜色的影响，然后通过算法修正将图像颜色还原到指定光照情况下，从而实现将不同光照条件下获取的图像修正到指定光照条件下，使得后续处理算法更加准确稳定。
(2)采集设备引入的噪声干扰
图像采集设备本身的精度、传输介质噪声、各种信号干扰等都会影响成像的质量。采集设备感光元件的质量不好，拍摄过程中发生抖动等都会导致成像模糊，使得所得到的采集数据本身就是噪声数据或畸变的数据，更严重的情况下噪声数据掩盖了运动物体本身的特征，导致提取的特征不正确。
(3)模型的精度及选取的特征
人手的肤色模型、摄像机的模型、人手的模型及人手遮挡模型的精度都对手势的跟踪和识别产生深刻的影响。人手特征的选取决定了模型与人手本身特性之间的差异程度，选取好的特征可以更准确的表现人手的真实信息，并且能使跟踪更加鲁棒。
(4)自遮挡现象
自遮挡导致了手势部分观测信息的丢失，会导致手势跟踪算法失效或失败，即使使用多个摄像机也不能完全解决人手的自遮挡现象，且多摄像机会导致数据的处理速度直线下降。
(5)手势变化的复杂性和地域差异性
手势本身具有多样性、多义性，不同的地域、不同的个体的手势存在着或多或少的差异，导致难以用统一的动态模型来对手势行为进行描述，这无形中加大了手势跟踪和识别的难度。
(6)时间开销
手势的分割、跟踪和识别过程包括对图像特征的提取和滤波等主要环节，各个环节的处理时间复杂度都很高，并且为了获得较为准确的手势特征必然会使用高分辨率的图像，数据处理量又会进一步加大。
对上述问题提出改进的方案如下：
(1)在光线补偿方面，针对光线变化对图像质量影响较大的问题，提出了一种改进的光线补偿策略。首先通过基于对数变换和指数变换的方法对图像的亮度进行修正，然后使用一种基于动态阂值的白平衡方法进行二次修正以及对图像较暗区域和高亮区域的修正。
(2)在静态手势识别方面，针对基于肤色的手势分割效果不理想的问题，提出一种融合HSV和YCbCr色彩空间的肤色分割方法，并实现了一个基于支持向量机的静态手势分类器。实验结果表明，融合的方法可以达到更好的分割效果，与传统的模板匹配方法相比，基于支持向量机的分类器显著提高了识别率。
(3)在动态手势识别方面，就手势跟踪而言在手势分割的基础上找出手势运动目标，提取目标的有效特征，选择合适的算法，在后续的图像中查找与目标相似度最高的位置。使用跟踪算法可以有效地减少对目标对象的重定位，大大降低算法的复杂度和计算量，进而达到较高的实时性。提高手势跟踪效率和准确率能保证提取的特征更加准确，后续的识别更加鲁棒。
典型的方法有以下四种:Mean Shift算法、CamShift算法、卡尔曼滤波算法和粒子滤波算法。卡尔曼滤波是时间域中的一种跟踪算法，通过迭代进行目标位置的预测，然后通过测量值对预测算法进行修正，在求解的过程中不需要存储大量的中间数据，可以很容易达到实时处理的要求。特别对于线性定常系统，如果在仅均值都为零且互不相关的状态噪声和观测噪声的情况下，只要滤波时间足够，系统一定能达到稳定状态。但是卡尔曼滤波是基于所有时刻的后验概率分布都是高斯类型的假设。如果假设与实际情况相符，则可以获得最优解，否则结果不确定。粒子跟踪算法应用到手势跟踪中时一般通过使用肤色特征来产生粒子，并借助肤色分割方法在一定程度上降低搜索范围，并进一步减少采样的粒子数。粒子滤波算法能有效地处理非高斯分布的过程，并且在复杂环境下对目标进行跟踪也有很好的效果。但使用过程中会遇到粒子数目匾乏和粒子多样性的问题。
为了增加手势跟踪的稳定性，改进了Tracking-Learning-Detection（TLD）跟踪算法，通过引入Haar分类器来修正跟踪过程中的偏差，并实现了一个基于隐马尔可夫模型的动态手势分类器。对比实验结果表明，改进后的跟踪算法有效地提高了跟踪的稳定性，基于隐马尔可夫模型的识别方法也有效地提升了识别的准确率。
ps:
一种改进的光线补偿策略，本文在传统图像增强和白平衡算法的基础上提出一种改进的光线补偿策略。该策略首先使用一种基于对数变换和指数变换的算法对图像中的亮度进行校正，然后再使用基于动态阂值的白平衡修正方法对图像进行二次修正。
总结：
(1)针对实验过程中遇到的光线对手势的分割效果有较大影响的问题，提出了一种改进的光线补偿策略。该方法首先利用基于指数和对数变换的分段补偿算法对手势图像进行亮度补偿，然后使用基于动态阂值的方法进行白平衡操作，实验表明可以达到一定的效果。
(2)针对基于肤色的手势分割效果不稳定的问题，使用HSV和YCbCr色彩空间相结合的方法对静态手势进行分割。提取Hu矩和指尖特征后，使用基于支持向量机的方法进行识别，实现了对十种常见的数字手势的识别。实验表明，结合的分割方法效果更加稳定，基于支持向量机的识别方法可以明显提高识别率。
(3)改进TLD算法的初始化策略及检测策略，使用基于Haar特征的分类器来初始化TLD跟踪过程，并在跟踪出现偏差时使用Haar分类器的检测结果进行修正，取得了一定的效果。最后使用隐马尔可夫模型进行识别，实验表明，改进的TLD算法能进一步提高跟踪的稳定性和跟踪的有效性，且较传统的动态时间规整方法，基于HMM的动态手势识别方法能显著提高识别的准确率。
参考文献：基于视觉的手势识别研究-中科大-2015