指纹识别综述(11): 专利

本文会不定期更新

1、引言

指纹识别企业的一些资深工程师，非常有经验，他们不写论文，但有时写专利。要想从他们身上学习，读专利是非常必要的。

但是由于许多原因，专利不好读。

• 很多专利是发明人提供想法或者基本描述，由专利代理师写申请书文本。按照法律文书的写法，文字表述很繁琐，用词奇特，所以专利的阅读体验远不如论文。一篇10页纸的专利，把思想浓缩下来可能只有1页。
• 专利缺乏细节。专利为了扩大覆盖面，也为了保密，对方法不做特别具体的描述。复现专利所述的算法很困难。也许发明人也没有真正做出来。
• 专利不讲与相关工作的关系。从专利没法追本溯源，弄清楚某些表述模糊的地方。
• 专利不讲实验效果。从专利看不出技术是否可行、性能到底如何。也许发明人都没有做实验。
• 专利不讲与同类技术的性能对比。从专利看不出技术的相对水平。可能发明人也没有和同类技术做过对比。
• 专利的插图通常不够清楚、美观。

更麻烦的是，指纹专利数量不亚于论文。论文有handbook、其他文章的点评，有谷歌引用数，作为质量的参考。而如何判断一项专利是否有价值，到哪里快速找有价值的专利，没有简单的标准。在浩如烟海的专利文献中淘宝，很需要眼力和精力。

《Handbook of Fingerprint Recognition》第二版的参考文献多达1200篇，几乎没有专利。我当时写了个批注，等这本书出第三版的时候，我要给作者提个建议，覆盖重要的专利。没有想到，我成第三版作者了，发现很难把专利写进书里。

Handbook几乎没有引用专利

本文把我看过的一些不错的专利归类汇总，供读者参考。对于每项专利，只做简要的介绍和点评。目前主要是算法方面的专利，将来会增加传感器方面的。

2、特征提取

2.1 图像增强及去噪

NEC_Hara_2008_USPA20080226143_CHARACTER NOISE ELIMINATING APPARATUS

日本NEC是世界上最早做警用AFIS的企业之一，其指纹算法在NIST评测中经常名列前茅。在AFIS企业中，NEC的专利是比较多的。Hara是指纹部门的算法负责人，持有许多指纹专利。

强的脊线增强算法（比如Gabor滤波）可能会破坏细节，产生伪特征。有时候，指纹鉴定专家需要不那么强的增强算法，避免引入伪特征。该专利先分割出字符，然后在字符覆盖区域采用适合的灰度调整方法。

NEC_Hara_2008_USPA20080031531_Line Noise Eliminating Apparatus

该专利删除覆盖指纹的直线（例如，现场指纹的背景图案、油墨捺印指纹卡片上的线条）。

2.2 方向场估计

自适应窗口

Motorola_Lo_2007_US20070292005_Method and Apparatus for Adaptive Hierarchical Processing of Print Images

美国Printrak是成立非常早的指纹识别企业，经历了多次被收购：Printrak -> Motorola -> Morpho -> IDEMIA。Lo长期担任算法负责人，在指纹识别方面很资深，持有的指纹专利很多。

方向场估计是指纹特征提取中最关键的步骤。估计局部方向时所用窗口的大小是很关键的参数。窗口小的优势是更准确，但是对噪声太敏感；窗口大的优势是抗噪声性能好，但是可能不准确（特别时在方向场曲率大的地方）。

这项专利根据图像局部质量（以及噪声、方向一致性）灵活确定窗口大小。在噪声不强的情况下，优先用小窗口求；当噪声强时，用大窗口计算方向。

掌纹方向场

NEC_Funada_2002_US7027626_System and method for processing fingerprint, palmprint image

掌纹上的皱褶特别多（尤其是大鱼际区），对于脊线方向场估计算法是很大的干扰。把针对指纹的方向场估计算法用到掌纹上，会出现大片的错误。该专利对于每个图像块检测出可能的正弦波。首先识别出正弦波参数可靠区域（没有皱褶干扰的区域）作为起点，逐步外推推测不可靠区域的正弦波参数。在外推时，考虑了相邻的正弦波的各参数应该比较一致。

2.3 姿态估计

手指中心检测

NEC_Hara_1991_US5040224_Fingerprint processing system capable of detecting a core of a fingerprint image by statistically processing parameters

估计手指中心在后续任务中非常有用。该专利提出从指纹不同位置对中心位置进行投票预测，累加得到最终的中心估计。

手指方向估计

NEC_Hara_1998_US5848176_Fingerprint fingertip orientation detection method and device

该专利利用指纹外围方向场比较稳定的特点，对于不同纹型指纹定义了相应的模板。对于输入指纹，与各种模板进行匹配找到最佳的手指方向。

2.4 脊线增强

偏微分方程

Cogent_Wei_2007_US7194393_Numerical model for image feature extraction

美国Cogent公司是华人创办的企业，成立时间晚于Printrak、NEC、Morpho，但抓住了几次重要机遇（洛杉矶社保、美国出入境、委内瑞拉选举），成长很快，是第一家纳斯达克上市的生物特征识别企业。后来创始人谢明捐赠冠名了母校南加州大学电子工程系。

发明人Wei是数学专业背景。该专利将指纹的局部图像用二元偏微分方程建模。已知边界条件，对方程求数值解，即可得到增强的图像。

2.5 三级特征

NEC

NEC_Hara_2011_US8019132_pore

指纹鉴定专家在比对指纹时，有时会利用到三级特征，包括汗孔、点（1个脊线单位）、不成熟脊线（incipient ridge）。虽然有一些论文研究基于三级特征的指纹匹配（Jain等，2007），但是相对高性能细节点匹配算法的贡献不明显。主要原因是三级特征的成像不稳定。该专利是从另一个角度出发研究三级特征。Hara注意到三级特征会导致脊线周期测量出错。因此他先检测出三级特征，然后再抹去，降低三级特征的副作用。

2.6 质量估计

NEC_Hara_2011_US7885437_Quality

之前的指纹质量估计方法，如NFIQ（Tabassi等，2004），没有考虑指纹姿态合理问题。当姿态太偏的时候，即使图像质量很好，识别也可能失败。Hara先分割出模式区，然后把模式区的特征质量、数量等考虑进质量估计问题。Hara在NIST指纹质量研讨会上提到，这样估计的质量与最终匹配性能的相关性很好，能够用于精准拒绝低质量指纹。

Motorola_Lo_2008_US20080013803_Method and Apparatus for Determining Print Image Quality

Lo也考虑了指纹中央区域（模式区）在指纹质量估计中的重要性。在估计手指中心和角度时，他综合考虑了指纹模式区上部和下部的伪脊线、以及奇异点的位置。综合考虑多种特征，对于低质量指纹、不完整的指纹是非常必要的。

2.7 四连指分割

NEC_Hara_2006_USPA20060067566_Plain four-finger image determination device

该专利在指纹中心检测算法的基础上进行四连指分割。

Motorola_Lo_2006_US7072496_Slap Print Segmentation System and Method

该专利的四连指分割方法对手指之间的关系考虑较多。

2.8 半自动特征标注

方向场编辑

NEC_Hara_1996_US5519785_Correcting method for directional data of streaked patterns and information processing apparatus

从现场指纹自动计算的方向场容易出错。该专利技术可以为人工修正方向场提供便利。用户在需要修复的区域画一些沿着方向场的曲线（伪脊线），然后算法自动插值出整个区域的方向场。如果是用触摸屏做交互，更加方便。

脊线编辑

NEC_Hara_2004_US6806878_Graphic editing apparatus for adding or deleting curve to,from graphics by interactive processing

NEC的指纹匹配算法特别重视脊线的作用，得到高质量的脊线对他们的算法很重要。当从现场指纹自动提取的脊线不准确时，需要人工修复。该专利解决脊线的半自动标注问题。

3、匹配

3.1 细节点匹配

Cogent_Wei_US8379982_Fast match

该专利对现场指纹（查询指纹）的细节点建立属性表格（内存换时间的策略），提高大库比对的效率。在CPU、GPU较慢的年代，Cogent的指纹比对加速卡曾经非常有优势。

3.2 多特征融合

Printrak_Lo_1999_US5960101_Expert matcher fingerprint system

该专利将细节点、脊线、方向场、纹型、奇异点等特征的匹配分数进行融合，实现高精度识别。

3.3 方向场匹配

Motorola_Lo_2008_US20080273769_PRINT MATCHING METHOD AND SYSTEM USING DIRECTION IMAGES

在细节点匹配的基础上，把方向场也考虑进来，显然能提高识别率。这早是常识。而该专利更进一步，考虑了不同指纹在对齐后，即使重叠区的方向场比较像，在外围可能会出现不合理的模式。

3.4 脊线匹配

NEC_Hara_2007_US7295688_Method and Appratus for Matching Streaked Pattern Image

NEC特别重视脊线的匹配。因为指纹鉴定专家在匹配指纹时，也是对于脊线是否一致特别看重。Hara的脊线匹配方法对于复杂情况（皮肤变形、噪声造成脊线拓扑不一致）考虑得比较周到。我博士期间做过脊线匹配，对其复杂性深有体会。

3.5 相位匹配

Arete_Thebaud_1999_US5909501_Systems and methods with identity verification by comparison and interpretation of skin patterns

Thebaud的专利有两个亮点：（1）基于图像相关的对齐方法考虑了缩放和旋转；（2）指纹相位表示方式解决像素级偏移场估计。Arete子公司Bioscrypt公司FVC2004夺冠似乎就靠这个方法。

Bioscrypt_Harkless_2005_US20050254693_Pattern-based interchange format

该专利把指纹图像的每个方块表示为正弦波，该专利对应一个ISO/IEC标准。

3.6 三级特征匹配

Motorola_Lo_2008_US20080101663_Methods for Gray-level ridge feature extraction and associated print matching

由于三级特征在指纹图像的表现不够稳定，显式提取三级特征并进行匹配的方法（Jain等，2007），可能不够鲁棒。该专利提出隐式利用三级特征的匹配方法，不需要明确提取汗孔等三级特征。

3.7 掌纹分区

NEC_Monden_2002_US20020141620_Palmprint region deviding

该专利提出了一直掌纹分区的方法，可以提高掌纹匹配的效率。

3.8 模板更新

Apple_Boshra_2017_US9576126_Updating a template for a biometric recognition device
Apple_Boshra_2019_US10248776_Background enrollment and authentication of a user

AuthenTec公司的电容指纹传感器曾是世界第一。2012年被苹果3.56亿美元收购，之后推出iPhone 5S的Touch ID。

Boshra是AuthenTec和Apple的指纹算法负责人，持有多项专利。这两个专利是关于指纹注册和模板更新。比如，当用户按Home键点亮屏幕后，输入PIN解锁屏幕。此时嵌入Home键的指纹传感器采集的图像，就可以被认为是注册指纹（即使目前用户还没有注册指纹，或者该图像和已注册的指纹并不匹配）。

由于大部分手机的指纹传感器面积很小，为了提高用户体验（在错误接受率不变的情况下，提高正确接受率），指纹识别系统靠模板更新技术来提高正确接受率。由于用户解锁手机的频率很高，模板更新也有条件进行。而其他指纹识别应用中（例如出入境、身份证），用户使用指纹识别的频率很低，模板更新的意义较小，机会也不多。频繁识别是手机指纹识别特有的。

模板更新不是指纹特有的，其他生物特征识别也用更新技术提高性能（Rattani等，2009；Pisani等，2019）。

模板更新技术曾经出过一次bug。有人发现自己手机指纹传感器破裂后，其他人的指纹也能解锁他的手机了。有技术人员做了进一步发挥，发现橘子皮也能破解手机指纹识别。原因是，如果传感器表面不干净（存在传感器破裂、指纹贴等造成的背景纹理），当背景纹理+本人指纹通过验证后，会被注册为模板。如果背景纹理的特征占比较大，之后其他手指、橘子皮、任何东西按传感器，传感器读入的是任何东西的图案+背景纹理，验证就很可能通过了。这个bug后来基本被解决了。专门有个方向poisoning attack（Biggio等，2013）研究利用模板更新问题破解识别系统。

4、交互

指纹导航

AuthenTec_Russo_2009_US7587072_Generate rotational inputs

该专利从指纹图像测量手指的2D旋转，用于控制。

参考文献

1. Biggio, B., Didaci, L., Fumera, G., & Roli, F. (2013). Poisoning attacks to compromise face templates. In 2013 international conference on biometrics (ICB) (pp. 1-7). IEEE.
2. Jain, A. K., Chen, Y., & Demirkus, M. (2007). Pores and ridges: High-resolution fingerprint matching using level 3 features. IEEE transactions on pattern analysis and machine intelligence, 29(1), 15-27.
3. Pisani, P. H., Mhenni, A., Giot, R., Cherrier, E., Poh, N., … & Amara, N. E. B. (2019). Adaptive biometric systems: Review and perspectives. ACM Computing Surveys (CSUR), 52(5), 1-38.
4. Rattani, A., Freni, B., Marcialis, G. L., & Roli, F. (2009). Template update methods in adaptive biometric systems: A critical review. In International Conference on Biometrics (pp. 847-856). Springer, Berlin, Heidelberg.
5. Tabassi, E., Wilson, C., & Watson, C. (2004). Fingerprint Image Quality. NIST-IR 7151.