DeepIris: Learning pairwise filter bank for heterogeneous iris verification 2015年 Pattern Recognition Letters
DeepIris:学习用于异构虹膜验证的成对滤波器组 作者有：孙哲南，谭铁牛 2015年10月31日上线
Abstract：
异构虹膜识别(HIR)是大型身份管理系统的一个重要需求。在异质环境下采集的虹膜图像存在较大的类内差异，如不同的分辨率或不同的传感器光学特性等。因此，手工设计一个鲁棒的编码滤波器来面对复杂的异类虹膜图像的类内变化是一个挑战。本文提出了一种基于深度学习的异构虹膜验证框架，即DeepIris，该框架基于卷积神经网络，通过学习关系特征来度量对虹膜图像之间的相似性。深度虹膜是虹膜识别的一种新方法，主要表现在两个方面。(1) DeepIris学习了一个成对的滤波器组来建立异质虹膜图像之间的关系，其中这一对滤波器从两个异质源中学习。(2)与传统解决方案中手工提取和特征匹配两个独立步骤不同，DeepIris通过不同来源的双滤波器组(PFB)直接学习对虹膜图像之间的非线性映射函数及其身份监督。因此，当给定新的训练数据时，学习的一对滤波器能够适应新的源。在Q-FIRE和CASIA交叉传感器数据集上的大量实验结果表明，与传统方法相比，使用DeepIris的异构虹膜验证的EER(等错误率)降低了90%。
- Introduction
由于其独特、复杂、稳定的虹膜纹理模式，被广泛应用于个人识别。经过几十年的研究，传统的均匀可控条件下的虹膜识别技术得到了广泛的研究。近年来，不受控制的虹膜识别越来越受到人们的关注。，跨不同域匹配虹膜图像。它包括虹膜图像捕获在不同的分辨率或不同的传感器等问题。在实际应用中，虹膜图像通常来自不同的domains域。例如，近年来，虹膜图像采集采用了近程和远程虹膜传感器，其中虹膜图像以不同分辨率表示。低分辨率的虹膜图像在远距离或移动[14]时通常会丢失很多细节，而登记的虹膜图像是在受控条件下以高分辨率捕获的。有些虹膜系统只使用一家供应商的虹膜传感器，但系统更新程序介绍不同版本的虹膜传感器。具体来说，大规模的身份识别应用，如国家身份识别系统，通常使用不同供应商的传感器来捕获虹膜图像。一些非均匀虹膜图像如图1所示。可见，不同区域的虹膜图像在虹膜纹理细节上存在显著差异。异质性虹膜图像存在较大的类内变异，这对传统的高性能虹膜识别系统提出了挑战。国际生物测量组1认为异质虹膜识别的验证性能显著下降。这鼓励研究人员提出更有效的算法来进行异构虹膜验证。
图一虹膜图像捕获的不同传感器和在不同的距离。第一行和第二行是由不同传感器捕获的虹膜图像。第一行图像由ikemb1 - 10采集，第二行图像由Iris Guard H100采集。在前两行中，同一列的图像属于同一主题。第三行和第四行是不同距离采集的虹膜图像。第三行在5英尺处采集图像，第四行在11英尺处采集图像。最后两行同一列的图像属于同一受试者。
（三四行的图片咋看着像放大的呢？）
现有的虹膜异质验证方法主要是为了弥补虹膜异质图像之间的差距，通常采用基于像素级、特征级和编码级的三种方法。图像增强是最直观的基于像素的异构虹膜匹配解决方案。该方法试图通过[15]再检测、[17]预测等方法，从不同来源提取相似的视觉外观。然而，这些解决方案主要关注的是视觉效果，而不是识别精度。特征和编码方法则是在第一步从异质源中提取相同的特征。提出了一种码级信息融合[12]，以提高不同分辨率虹膜编码的相似度。其他文献[19,20]提取了这两种传感器不变的特征。这些方法对异种虹膜图像采用相同的滤波模板进行特征提取。特别地，完全相同的滤波器不是为不同的域而设计的，这可能是不合适的从不同的来源来过滤图像。而自动学习的过滤器考虑到源的差异，可能会导致更好的验证性能。
在本研究中，我们提出了一个通用的深度学习模型——DeepIris来解决异质性虹膜匹配问题。DeepIris旨在学习基于卷积神经网络(CNNs)的虹膜对之间的关系滤波器。通过对虹膜图像的两两滤波得到的关系特征能够测量虹膜图像之间局部区域的拟合性。deepiris通过神经网络自动学习输入异质虹膜图像对与输出标签之间的非线性映射函数。我们的方法不同于传统的虹膜特征提取和特征匹配两个独立的步骤，在这两个步骤中，对特征学习的监督被充分利用。这个模型的贡献有三方面。
1：本研究是首次尝试使用深度学习方法解决虹膜验证问题。实验结果表明，在Q-Fire和CASIA两个虹膜图像数据库上，异构虹膜验证的等错误率比传统方法降低了90%。
2：相关的滤波器是通过考虑领域差异来学习的。与传统方法相反，异类源由源特定的过滤器处理，即要考虑到来源的特殊性。
3：该模型是一种针对非匹配性虹膜匹配的端到端解决方案，自动学习自适应于异构源的关系滤波器，而不是手工制作。
本文的其余部分组织如下。第2节回顾了之前的工作。第3节描述了提出的模型。实验结果和分析见第4节。最后，我们在第5节对本文进行了总结
2. Related work
交叉分辨率虹膜验证的目的是匹配低分辨率探针虹膜图像和高分辨率在登记阶段捕获。与高分辨率虹膜图像相比，低分辨率虹膜图像通常缺乏大量的纹理信息。为了提高低分辨率虹膜图像与高分辨率虹膜图像的匹配精度，一种直接的方法是对低分辨率虹膜图像进行超分辨，从而得到与之对应的高分辨率图像，即超分辨。例如，通过预处理[17]或加权平均[15]，可以提高低分辨率虹膜图像的质量。然而，这些方法都是为了提高虹膜图像的视觉效果，而不是提高不同分辨率下虹膜图像的验证精度。
由于像素级重建的不稳定性，[16]和[12]倾向于在更高的像素级上运行，从而获得更高的精度。其中，[16]在特征层融合了多个Gabor滤波后的低分辨率虹膜图像，[12]使用了一组低分辨率虹膜图像的二值特征码。但当虹膜图像没有足够的低分辨率图像进行融合或编码时，这些方法仍然存在问题。（多特征融合也会出现问题）
近年来，利用度量学习提高了低分辨率匹配的准确性[2,3,21]。例如，提出了一种新的马氏度学习算法[13]，通过缩放和旋转特征空间，在码级上学习低分辨率和高分辨率虹膜图像之间的度量距离。学习的度量距离显示出很强的泛化能力来分离交叉分辨率的数据。这种方法忽略了源的不同，只使用一个手工制作的顺序滤波器，即采用完全相同的滤片对交叉分辨率的虹膜图像进行滤除，可能导致精度降低。此外，他们在没有进行特征选择的情况下对所提供的特征空间进行了修改，在这种情况下，一些带有噪声的特征会严重影响最终的性能。
除了交叉分辨率匹配，另一个密切相关的问题是交叉传感器虹膜匹配。不同传感器采集的虹膜图像[4]分布不同，容易降低匹配精度[1,5,6]。[5,6]建立并研究了第一个跨传感器虹膜数据集。他们得出的结论是，总体精度受到所选算法和摄像机的影响。在[1]中，Au- thors提出了一个框架，该框架首先对源相机进行预测，然后应用选择性增强算法来实现更好的性能。这些方法的好处是每个源都有选择地进行预处理。然后，介绍了选择有效的跨传感器特征的特征层次方法。例如，学习了cou- pled dictionary[19]用于特征提取，提出了大边缘特征选择方法[20]用于跨传感器虹膜验证。然而，这些特性级方法常常受到筛选池的限制，即使它已经过于完整。此外，所有的特征选择方法都对相同模板的交叉传感器虹膜图像进行滤波，忽略了不同传感器的影响。此外，训练阶段的计算代价非常棘手[19,20]。即使给定一个大的训练数据集，他们也不能充分利用大尺度的数据。
3. Methods
虹膜验证的目的是确定输入的虹膜图像对是否属于同一主体，这实际上是一个二值分类任务。为了解决这个问题，我们提出了一个新的框架，即DeepIris，其架构如图2所示。接下来，我们将从虹膜图像的预处理、两两滤波层的构建、算法实现以及评分级融合等方面详细阐述该框架。
图二：所提方法的架构。rnorm表示归一化层。池被表示为最大池层。神经元的数目被标记在层的旁边。
3.1. Iris image preprocessing
如图3所示，虹膜图像的预处理包括了降噪步骤。(1)从原始虹膜图像中提取虹膜纹理区域。(2)将虹膜环状区域转化为未包裹的或矩形的虹膜图像，通常称为虹膜nor- malization。然后我们紧跟[9]中的预处理方法，将归一化虹膜图像向下采样到10 0×10 0。下采样过程可以在一定程度上防止过拟合，因为原始虹膜图像较大，大大增加了参数，容易导致过拟合。(3)然后用整个训练数据集计算出的平均灰度值减去每个像素。这一步的目的是重新调整所有数据，使其能量为零。实验结果表明，不同的预处理策略对性能有显著影响。
图三：虹膜图像预处理。(a)虹膜局部图像。(b)归一化虹膜图像。©在训练数据中计算得到的平均灰度图像。(d)预处理后的虹膜图像，每像素处减去平均灰度图像
3.2. Pairwise filter layer （FL层 看图2）
现有的算法在处理异质虹膜图像时，通常使用相同的滤波模板从不同来源提取特征。这可能是次优的，因为特征外没有考虑不同来源之间的分布差异。事实上，为异种虹膜验证设计鲁棒滤波器的研究很少。由于交叉分辨率、交叉传感器、光照、头部姿态、注视等因素引起的复杂变化，很难进行鲁棒滤波器的自主设计。因此，我们决定自适应地学习基于卷积神经网络的源特定滤波器。
PFL层图像为输入，PFL层中的一对滤波器如图4所示。这种两两滤波器对输入图像进行卷积，并对它们的特征图进行汇总，从而生成相似度图。而在图2的DeepIris架构中，**输入的是两张灰度归一化的虹膜图像，将其叠置成双通道，而不是拼接成一张图。**这就是成对的卷积运算滤波层表示为。
图四：PFL的管道。将一对异质图像输入该层。两种特征图经过学习的pfL滤波后，归纳为相似度图。相似度图显示了输入对虹膜图像之间的相似度，如图6所示。
式中(x1, x2)为堆叠的输入图像对。yj是对(x1, x2)的第j次sim- ilarity映射。w1, j和w2, j分别是成对(x1, x2)的第j个成对滤波器。bj为对(x1, x2)的第j个相似度图的偏差。∗表示卷积操作。隐神经元采用ReLU非线性max (0, x)，其拟合能力优于[11]所述的s型函数。
图五显示了四个学习的成对过滤器。为了更好的说明，将一个滤光片对中的两个滤光片一起描述。第一列中的两幅图表示该成对过滤器处理图像的局部区域以不同的方式配对。对于第二列，双滤镜更有可能在每张图上采用不同的分值，然后对两张图进行总结。图6显示了经过两两滤波处理后的相似度图。相似度图显示虹膜图像对的局部区域之间每个像素点的相似性。**反应越低(图片中颜色越深)表明相似性越高。**第一行显示了学科间的相似性图，第二行显示了学科内的相似性图。正如我们所知道的，学科间相似图对PFB(成对滤波器组)有强烈的响应，这导致在可视化中更加精确和颜色更浅。另一方面，当输入对属于类内被试时，相似度图的响应较低(颜色越深，深蓝色)，说明两个输入图像之间的相似度越大。
图6：特征图由两两滤波器处理。第一行为学科间相似度图，第二行为学科内相似度图。相似度图中像素的颜色表示虹膜图像对的局部相似度。颜色越深(深蓝色)表示反应越低。为了更好的视觉效果，图像经过了增强。(为了解释这个图例中对颜色的引用，请参考本文的web版本)。
3.3. Architecture
该模型由9个层组成，包括一对层、卷积层、池化层、标准化层、局部层和全连接层。每一层的大小如图2所示。对输入的两两虹膜图像进行归一化和重塑，得到100×10 0的灰度图像，如图3所示。输入的两两灰度图像被准备为一个双通道矩阵，通过第一卷积层的一组两两滤波器。在这个卷积层中有64对大小为5×5的滤波器。对边界应用一个2像素的零填充，因此第一层之后的激活仍然是10 0×10 0。重叠空间pooling是对一个3×3的区域进行pooling，步长为2，因此这一层向下采样图像为50×50的一半大小。归一化层对每个单元进行交叉映射归一化。实验结果表明，在网络中增加两层归一化层可以提高性能。第二阶段与第一阶段相似，只是规范化层和池化层进行了交换。由于归一化后的虹膜图像具有一定的结构关系，即就像被遮挡的眼睑通常位于同一区域一样，局部图层似乎能够捕捉更多的局部信息。实验还表明，通过添加局部层，提高了算法的精度。在第二阶段之后，我们使用了两个局部层，每个层包括64个大小为3×3、具有1像素填充的过滤器。最终的全连接接收25×25×64个神经元，并输出对应于两个给定标签的两个预值，即。， 0是类内对，1是类间对。整个框架如图9所示，其中一个架构列表被设计为具有不同的配置和实现。
卷积层、局部层和全连接层都使用整正的线性单元[11]作为激活函数。首先，我们以0.001的大学习率训练网络，当评估集上的分类错误率停止下降时，将学习率降低10倍。我们通过实验发现，即使训练分类错误降低到几乎为零，降低学习率仍然有助于降低测试集上的分类错误。
3.4. Score level fusion 分数级融合
由于头部运动的影响，虹膜图像存在旋转差异。虹膜识别算法通常对未规整化的虹膜图像进行几个像素的翻译，以寻找最优匹配。在这项工作中，归一化虹膜图像被翻译在一个像素内纠正旋转方差。对于一对虹膜图像，分别归一化为10 0×10 0像素，如图3所示，分别标注为x1和x2。然后将每张图像向左向右平移一个像素。因此X 1的三份拷贝(即。， x11, x12, x13)生成。同时，如果考虑订单，则有两种对，分别是x1 - x2和x2 - x1。最后，对两幅图像的每个输入生成6对:X 11 -X 2、X 12 -X 2、X 13 -X 2、X 2 -X 11、X 2 -X 12、X 2 -X 13。将6对输入到模型中，并报告6个输入对的相似度得分。积分融合将决定两张已验证虹膜图像的最佳对齐。这样，该方法可以对旋转方差进行校正。实验中比较了三种融合方法，即最大融合、最小融合和平均融合。在实验部分，分数级融合方法在很大程度上提高了性能，证明了其有效性。
4. Experiments
为了评估有效性，我们将我们的模型与其他最先进的方法在两个数据集上进行比较:Q-FIRE[10]数据集和CASIA交叉传感器虹膜数据集。第4.1节列出了两个数据集的描述。训练集和测试集的大小在4.2节中给出。第4.3节分析了影响性能的一些因素。与最先进的方法的比较显示在第4.4节和第4.5节中。在异质性虹膜验证中，采用等错误率(EER)曲线和受试者工作特性(ROC)曲线作为定量测量。
。
。
。
。
。
。
。
。
。
。
。
。
。
6. Conclusion
在本文中，我们提出了一种基于深度学习的方法来解决基于卷积神经网络的异构虹膜验证。自动学习的两两过滤和深层表示是从原始像素联合学习，而不是使用手工制作的特征。本文的核心贡献是从原始像素中自动学习关系特征来表达异质虹膜图像的相似性。分别针对异质源学习了这对滤波器。因此，为了获得更好的性能，我们考虑了源之间的差异。实验结果表明，该方法在交叉分辨和交叉传感器虹膜验证方面都取得了良好的性能。该方法经过对大虹膜数据的训练，具有较高的优越性，是目前虹膜识别系统快速、广泛部署的有效方法。虽然DeepIris模型需要更多的训练时间(在我们的实验中是几个小时)，但是学习到的模型可以非常快地处理一对虹膜图像进行身份验证。
往下进行不动了。。。。。。不看了 晕了 换文章了。
怎么说呢，15年的论文，级别不低，讲的是多源虹膜异质，然后设计了神经网络，再后面没看，感觉不是自己喜欢的方向。。。有缘人喜欢的可以继续翻译。自己水平有限，没看明白。这篇就这样把。
PS：个人理解，如有错误，还请赐教指出来改正，大家共同进步。
（完结！！）