DeepIrisNet: DEEP IRIS REPRESENTATION WITH APPLICATIONS IN IRIS RECOGNITION AND CROSS-SENSOR IRIS RECOGNITION
深度虹膜表示在虹膜识别和交叉传感器虹膜识别中的应用 Abhishek Gangwar 2016年 ICIP
ABSTRACT
尽管虹膜识别技术取得了重大进展，但大规模和非理想条件下的高效和鲁棒的虹膜识别仍然存在严重的性能问题，仍是当前的研究课题。深度卷积神经网络(DCNN)是一种功能强大的视觉模型，在多个领域都有最新的表现。在本文中，我们提出了一种基于深度学习的虹膜表示方法，称为DeepIrisNet。提出的方法基于非常深入的架构和最近成功的cnn的各种技巧。实验分析表明，所提出的DeepIrisNet可以非常有效地模拟虹膜的微观结构，并提供鲁棒、鉴别、紧凑和非常容易实现的虹膜表示，并获得最高的精度。此外，我们用CROSS-SENSOR IRIS 算法评估我们的虹膜。实验结果表明，DeepIrisNet模型在跨传感器识别精度上也有显著提高。
- INTRODUCTION
1993年，Daugman[1]提出了第一个完整的自动虹膜识别系统。在过去的几年中，随着对安全的重视，虹膜识别(IR)在个人识别方面得到了很大的重视。目前，它被用于各种大规模部署，如印度的Aadhar，阿姆斯特丹的史基浦机场，美国/加拿大边境等。虽然在高度改进的红外技术的开发方面取得了很大进展，但在实际应用中，红外技术仍面临一些挑战，特别是在图像采集不受限制的情况下[5,7]。非理想的虹膜图像，在较少的约束条件下捕获，通常会降低红外性能，因为虹膜分割不当或虹膜纹理质量低[5,9]。大规模IR部署的另一个挑战性问题是，很多时候注册是由一个传感器完成的，而身份验证是使用不同的传感器执行的。由于存储的模板使用时间较长，且系统需要支持传感器升级，因此在大规模IR中也需要实现互操作性。在一些研究中，发现交叉传感器虹膜匹配会导致红外性能下降[25,28]。很少有研究者对此问题进行研究并提出一些解决方案[24,26,27]。许多正在进行的IR研究都旨在获得有效的特征表征，以减少个体内的差异，同时最大化个体间的差异。以往虹膜表示的大部分工作都是基于手工制作的特征[1,3,6,10]。虽然一些基于学习的方法[11-14]也被探索过，但它们基于浅层架构。
深度学习，特别是卷积神经网络(CNNs)[8,17]的最新进展已经席卷了计算机视觉界，深度学习的出现大大提高了许多应用领域的最新精度。卷积神经网络具有如此令人鼓舞的性能，其关键原因在于其卓越的学习能力、用于训练的大数据集的可用性、改进的算法和改进的网络架构。基于深网络在其他领域的成功应用，本文提出了一种能够处理复杂分布的大规模虹膜数据的高效的深CNN结构——DeepIrisNet。虹膜生物识别中基于深度学习的方法，最近在一些著作中进行了探索[4,30,31]，但是它们的优化目标与虹膜的身份没有直接关系，而且如果能不那么深的话，其对象是设计的。据我们所知，这是第一次使用基于DCNN的方法来进行虹膜的表示和识别。为了更好地利用计算资源和最佳的虹膜表示，**DeepIrisNet经过精心设计。**它集成了最近比较成功的cnn中最流行的组件，如dropout learning[20]，较小的filter size[19]，非常深的架构[16,18,19]，整流线性非线性[21]，批量标准化[23]等。因此，我们提出了更加精确的DCNN结构，不仅达到了最新的红外精度，而且很好地适用于不同的虹膜数据集。此外，实验也证明了使用所提出的DeepIrisNet网络的深度学习虹膜模式(DLIP)对传感器互操作性、小分割和转换变化具有良好的鲁棒性。(也就是说深度学习可以避免虹膜来自不同传感器获得的图像之间的差异把，正常来说不同的虹膜库，其采集的虹膜图像设备不一样，要是同一个传统的特征提取算法，很可能不那么容易都适应数据。而深度学习是以数据data为驱动力的，只有喂很多数据就能减小这种不同设备的差异把。)
本文的其余部分组织如下。第2节解释了DeepIris- Net的架构和其他细节。关于实验和数据集的细节在第3节给出，结论在第4节。 - DeepIrisNet架构和培训
在本节中，我们将提供两个性能最好的CNN架构的通用布局;Deep irisnet - a和Deep IrisNet-B，它们的训练和特性在实验分析中的应用。DeepIrisNet-A基于标准卷积层[17]，DeepIrisNet-B利用inception层[18]的叠加。相对于可用于训练的数据，非常浅的架构和过深的架构分别会导致欠拟合和过拟合。因此，设计一个好的CNN架构对于实现高效的虹膜表示是至关重要的。受到[16,18,19]中提出的非常深的架构的启发，我们的DeepIrisNets也非常深;由大量的卷积/inception层组成。我们所开发的网络架构分别如表1和表2所示。DeepIrisNet -A包含8个卷积层(conv1到conv8)，每个层后跟[23]批处理归一化。有4个池化层，池化在每两个卷积层之后执行(中间有批处理规范化)。DeepIrisNet-B网络的设计首先是叠加卷积层(conv1到conv5)，然后是两个起始层(Inception6和Inception7)。前两个池操作(pool1和pool2)在每两个卷积层之后应用，而在conv5之后直接应用池操作(pool3)。
在这两种配置中，我们通常使用非常小的卷积核，即大小为3×3的卷积核(stride为1,padding为0)，我们还在DeepIrisNet-A的第一层和DeepIrisNetB的inception层中使用大小为5x5的过滤器。在这两个网络中，最大池是在一个2×2像素的窗口上使用stride 2执行的。最上面的三层是完全连接的，即每个输出神经元都连接到所有的输入。在所有网络中，完全连接(FC)层的配置是相同的。最后一个完全连接的层的输出是馈给一个C-way softmax(其中C是类的数量)，它产生一个分布在类标签。为了进行正则化，权值衰减设置为0.0005，第一层和第二层全连接层之后使用dropout，速率为0.5。卷积层的最大宽度为512。该网络中滤波器的权值以0均值高斯分布，标准差为0.01进行初始化。偏差被初始化为零。所有网络的学习率被设置为0.01，当验证错误率err停止提高时，学习率降低10倍。我们在所有的隐层中使用(ReLU)激活函数。
在训练过程中，采用随机梯度下降(SGD)进行优化，并将动量设置为0.9。梯度是通过反向传播计算的。超参数的选择使用ND-0405[2]数据库，并且在所有实验中都是固定的。我们的DeepIrisNet的输入是一幅128×128大小的灰色虹膜图像(图1)，无需任何预处理。只使用单一尺度训练网络，不进行数据扩充。在每个训练历元之后，我们观察验证数据集上的误差，并选择验证误差最小的模型。（图一这样操作？？这虹膜信息不就是相当于拉伸变形了吗？）
在测试过程中，softmax分类器层被删除，DeepIrisNet的其余部分被用作固定的特征提取器。我们使用网络中第二全连接层输出的实值向量作为虹膜表示特征向量(4096-D)。相似度得分的计算使用欧氏距离。（先把softmax层去掉，先测试经过全连接层的特征向量的欧式距离。）
3. EXPERIMENTS AND RESULTS
利用两个公开的虹膜数据库，进行了一系列的实验来评估DeepIrisNets的性能和鲁棒性;ND-iris-0405 [2]， ND-CrossSensor- Iris-2013[2]。ND-iris-0405包含来自356名受试者的64,980张图像。图像采集采用LG2200虹膜图像摄像机。在CrossSensor-Iris-2013数据库中，有29,986个来自LG4000和116,564张来自LG2200的图片，为676个不同的测试者(交叉数据集)。交叉传感器数据库中的ND-0405和LG2200子集中的大部分对象是不同的。这些数据库是最大的公开虹膜数据库，并被使用在我们的实验中，由于它们适合于本文所关注的研究问题。
3.1. Dataset Splits (Forming Training and Testing sets) 数据集分割(形成训练和测试集)
对于识别性能评估，我们设计了Exp1、Exp2和Exp3，如表3所示。为了准备实验数据集，首先在所有数据库中分别对虹膜左右图像进行分类标注。接下来，数据库被划分为2部分:第1部分和第2部分，使用不相交的类标签。第1部分用于生成用于模型选择的训练和验证集，第2部分用于创建测试集，即用于性能报告。数据库中不同受试者的图像数量分布不均匀，有的受试者图像数量多，有的受试者虹膜数量少。我们按照图像的数量对标识进行排序，包含较多图像的标识分配给第一部分，包含较少图像的标识分配给第2部分。第2部分进一步分为两个部分:查询和目标。目标集中的图像表示系统已知的图像，查询集中的图像表示未知的图像，供系统识别。为了支持看不见的对匹配问题，查询集中约有50%的标识与目标集不同(唯一)。
此外，为了评估跨传感器匹配，我们设计了Exp4和Exp5，（Exp4咋和Exp2一样啊。。Exp5就是混合了Exp4和Exp3）为了评估扩大的训练集上的性能，我们创建了Exp6和Exp7。
对于绩效评估，使用ROC和验证率(VR)来报告准确性。利用在各自实验中创建的查询集和目标集计算精度。
3.2 Iris segmentation and normalization
对于虹膜分割，我们使用了一个免费的系统Osiris v4.1[6]。利用Daugman’s rubber sheet model[1]将虹膜区域归一化到极坐标(映射到矩形区域)，如图1所示。
3.3. Baseline Iris Recognition Algorithm 基线虹膜识别算法
为了进行性能比较分析，我们采用了一种著名的基于Gabor的IR管道作为基线方法。该方法采用Osiris系统对虹膜纹理进行分割和采用Daugman的橡胶板模型[1]进行归一化处理，将所有虹膜归一化为64x256像素的矩形。特征提取使用1- DLog - Gabor滤波，相似度评分使用移动(-8°到+8°)的模板[1]之间的汉明距离计算。
3.4 Performance Evaluation
3.4.1 Single Sensor Matching
我们进行了3次实验来评估所提出的deepirisnet - a: - Exp1: ND-0405vs的性能(单传感器匹配)。nd - 0405, Exp2: LG2200vs。和Exp3: LG4000vs.LG4000。实验中使用的数据集的分解如表3所示。并与基线方法进行了比较。精度如图2所示。使用所提出的方法，在准确度上有显著的提高。deepirisnet - b和deepirisnet - a被发现获得了类似的精度。
3.4.2 Cross-Sensor Matching
我们评估了DeepIrisNet-A在传感器互操作性方面的性能。首先，我们执行了Exp4: LG2200vs。LG4000。应用于Exp4的DeepIrisNet-A的精度远优于交叉传感器的基线方法。我们假设，当传感器从LG2200(旧的)升级到LG4000(新的)时，LG4000中少数物体的图像是可用的。使用这个小集合(Exp5)，我们微调了预训练(Exp4)网络的权值。精细调谐网络得到的精度如图2所示，可以看到精度有了明显的提高。
3.5 Robustness Analysis
基于IrisCode的方法对虹膜像素进行编码，并按照序列进行排列。两个虹膜编码之间的匹配分数在很大程度上依赖于虹膜分割，即使是很小的分割变化也会产生很大的相似度评分[22]差异。在实际应用中，在拍摄虹膜时，头部相对于相机的位置可能不一致。这将导致虹膜图形的旋转以及其他问题，如平移，缩放等。大多数红外系统都是通过将虹膜图像归一化成固定尺寸的矩形来解决缩放问题。但这也不能解决问题因此，对于非理想虹膜图像，鲁棒分割一直是一个非常有趣的话题，也是一个开放的挑战。平面内旋转一般是将测试虹膜模板左右方向旋转。在非线性变换的情况下，通过左移和右移来匹配虹膜的整个过程是非常耗时的，并且可能不是很有效。
提出的DeepIrisNet对这种变换变化具有不变性。这种不变性通常来自DeepIrisNet管道中的最大池步骤。为了研究这个问题，我们进行了各种实验。
3.5.1. Invariance to Segmentation Variations 分割变量的不变性
为了评估DeepIrisNet对小的分割变化的鲁棒性，我们使用了4种不同的众所周知的分割方法;包括[3]，WAHET [15]， Osiris[6]和IFFP[7]。验证精度(目前=0.1%)用Exp1计算，如表4所示。可以清楚地看到，当分割方法发生变化时，DeepIrisNet-A相对于基线来说更加稳健。
3.5.2. Invariance to Alignment/Rotation 校准/旋转不变性
为了研究DeepIrisNet对旋转的不变性，我们使用了Exp1中的数据集，图像大小为128×128。使用未旋转的图像进行训练，在测试时，将查询图像(在特征提取前)以p次平移像素的方式旋转到步长为2像素的+p次平移像素。在基线方法中，移动像素的位置，在IrisCode中移动2个位置。表5给出了不同像素位移的验证精度(目前为0.1%)，可以推断DeepIrisNet允许在可能范围内对旋转变化进行显著补偿。
3.6. Analysis of other Network Parameters 其他网络参数分析
3.6.1 Effect of Input iris Size 输入虹膜大小的影响
使用我们的网络，我们评估了3种不同设置下输入图像大小的影响:i) 80x80, ii) 128x128，和iii) 160x160。表6使用Exp1的设置报告了验证率(目前为0.1%)。从结果中可以看出，与128x128输入图像相比，在80x80图像大小的情况下，准确率有很大的下降，但在160x160图像中，变化不大。
3.6.2 Effect of Training Size
训练数据的大小对性能有显著影响。为了分析它，我们合并了LG2200和ND-0405数据集，并创建了一个更大的数据集(唯一的iriss -2023，总共180359张128x128大小的图像)。我们使用Exp6和Exp7的设置来评估DeepIrisNet-A的性能，其中的测试分别与Exp1和Exp2相同。结果如表7所示，随着训练数据的增加，准确率也有所提高。（18万张的数据，增加了这么多数据，表7中exp 6 7这精度增加？？说不过去啊。）
3.3.2 Effect of Network Size（这标题错了把 3.6.3吧）
为了考察网络规模对精度的影响，各种调整及其影响如表8所示。在每一种情况下，模型都是从头开始训练与修订体系结构。移除中间层(3,4)或更高的高层卷积层(7,8)或FC层(9,11)的大小变化会略微降低精度。这说明网络的深度和宽度对于获得良好的性能是很重要的。（把卷积层去了，精度还这么高吗？？略微降低进度？这 我怀疑。）
4. CONCLUSION
我们引入了一种新的深度网络，名为DeepIrisNet用于虹膜表示。为了研究DeepIrisNet的有效性，我们使用大型数据库设计了各种实验，遵循看不见的配对模式。经验证明，DeepIrisNet的性能显著优于基于描述符的强基线，并能很好地推广到新的数据集。我们还证明了我们的模型对交叉传感器识别和常见的分割和转换变化是鲁棒的。然后，通过使用新传感器的图像子集对预训练模型(DeepIrisNet在旧传感器上训练)进行微调，提出了一种改进的交叉传感器匹配模型。然后我们分析了各种参数对我们的模型性能的影响，例如;训练数据的大小，输入图像的大小，架构的变化等。在未来的工作中，我们将探索DeepIrisNet中从其他层提取的特征的贡献。
总结：
提出了两个网络架构，自己组的网络。然后测试不同虹膜库，也有组的虹膜库。传统的算法很可能出现，单一算法适合单一数据库。深度学习以数据驱动的，可以避免这个不同采集仪器采集的虹膜不一样的情况。
PS：个人理解，如有错误，还请赐教指出来改正，大家共同进步。
（完结！！）