1.研究背景
自1980年代以来，自动售货机在美国和日本等发达国家迅速普及并发展成为一种新的零售系统。其产品科技含量高，集光学、机械、电气、防伪识别、数字加密、智能软件等技术于一体。 24小时服务让货物便捷。无需专人管理，节省人工和成本。人们可以通过自动售货机购买食物、香烟、饮料、报纸、门票、卡片甚至鲜花和宠物。它也是一种新颖独特的广告媒体。目前，自动售货机在65个国家和地区使用。根据美国“自动时代”的统计，日本每23人拥有一台自动售货机，美国每40人拥有一台，欧洲每60人拥有一台。在邻国日本，全国市场上 70% 的罐装饮料都是在自动售货机上出售的，每年在自动售货机上购物的人均成本超过 400 美元。据日本麒麟啤酒公司的一项调查显示，一台自动售货机每年可售出数万罐汽水，比不那么繁忙的商店还要大。美国可口可乐公司拥有数十万台饮料自动售货机，分布在世界各地。在西班牙，自动售货机销售的商品占全国零售商的 60% 以上，每年以 10% 的速度增长。全球约有 1800 万台自动售货机在运行。整个行业，包括自动售货机的制造和经营，年销售额超过 2500 亿美元。自动售货机已成为零售业发展最快的行业之一。
近年来，自动售货机在我国的大中城市发展迅速。在火车站、码头、酒店、大学校园和繁忙的街道上随处可见自动售货机。据统计，广州现有各类品牌的自动售货机1500台，远远不能满足地铁、公交站台的需求。 自动售货机不仅给人们的生活带来了巨大的好处。
2.项目创新点
本文提出的基于计算机视觉的人脸检测算法，采用yoloface对人脸的位置进行检测，采用面部地标估计的算法。有很多方法可以做到这一点，我们使用的是Vahid Kazemi和Josephine sullivan在2014年提出的人脸特征点提取算法。其最基本的想法是，采用68个特定的点(被称为地标)，作为人脸特征点。由于在自然界中的生物组织中，面部生物度量随着年龄的增长而显著变化。骨骼的生长引起的与年龄有关的外观变化通常发生在幼年和青春时期，而与皮肤有关的影响主要出现在老年人身上。从面部识别的角度来看，同一个人面部图像的年龄增长可能会引起混乱，从而显著降低系统性能与识别率。
在实际应用的场景可能因为摄像头异常或者污渍原因，导致人脸模糊，从而引起人脸识别功能无法正常工作，本项目针对这个问题提出一种基于生成对抗网络（GAN）的人脸修复算法，通过对人脸区域进行超分辨率，从而恢复原始人脸的细节，保证识别效果。
在识别完客户的身份后进入系统，本项目通过yolov5算法实现了水果的识别以及品质分级，结合传感器得到水果的质量尺寸品质等相关信息，从而实时指导售价，减少人工成本，避免货物积压。
3.图片演示
4.视频演示
基于GAN的超分辨率刷脸自助水果店（根据水果品质实时指导售价）_哔哩哔哩_bilibili
5.人脸特征的提取
人脸特征提取算法
人脸识别阶段完成后，接下来进行特征提取阶段。我们从几何和侧光表面归一化的结果中提取特征。在该阶段，制作能够将一个脸部图像与其他脸部图像区别开来的特定信息。在面部识别阶段，根据算法进行计算和分析，以确定比较图像的相似性。一种可能性是将图像直方图与ED方法(欧几里得距离)进行比较。LBP面部识别算法
局部二进制模式 (lbp) 人脸识别算法是ojala 1996年提出的一种人脸识别算法。lbp算法广泛应用于生物特征识别、监控、安防、计算机动画、医学图像分析等领域。LBP算法将相邻像素的亮度与中间像素的亮度进行比较。而且，这是角度上的参照。然后，重复用于下一个相邻像素。如果周围值大于阈值，则像素将被标记为二进制1，否则将被标记为二进制0。然后编译二进制值相邻像素以替换转换为十进制位的十进制值的平均像素值。LBP算法的流程图如图所示
欺骗攻击是指攻击者伪造数据，利用特定的东西来改变自己。在生物测量设备上发生的欺骗攻击的一种是面部欺骗攻击。通过显示系统从攻击者接收到的各种媒体合法识别的人物图像，攻击者可以容易地进行面部欺骗攻击。
下图展示了如何面对伪装攻击。面部间谍攻击是通过照片、视频、3d遮罩或这些方法的组合而成的另一种方法，即IE。面部间谍攻击可以通过测量通过纹理分析识别的复杂的3d图像来克服。
6.人脸超分辨率修复
首先，本文对生成网络的主干部分进行改进。主要是通过文献阅读和实验研究，对 SRGAN中的生成器进行改进，其核心方法是采用基于通道注意力机制的残差密集块(Residual channel attention blocks,RCAB)代替SRGAN的基础块，RCAB是由残差块(RB)和通道注意力机制(CA)组成。其中，每一个残差组(Residual in residual, RIR)包含G个残差块(Residual groups, RG)和长跳跃连接(Long skip connections, LSC)，每个残差块包含B个RCAB。经实验结果表明，采用这种残差结构可以训练非常深的CNN，而不会出现梯度消失现象，特征提取的高频信息也不会缺失，能够更好的重建人脸图像，提高整个网络模型的性能。由于低分辨率人脸图像的输入中包含着丰富的人脸特征信息，超分辨率重建网络特征提取的目的是恢复出更多有用的信息，通过基于身份的长跳跃连接，可以绕过丰富的低频信息，对人脸的高频信息进行处理，从而提升重建效果。为了进一步学习高频特征，本文在每个残差组中引入通道注意力，构成整体网络模型结构。其结构如图所示:
7.水果成熟度品质分级
本研究中的水果果实分类应同时考虑精密度和查全率；因此，利用精度、查全率和f1评分等参数来验证模型的性能，并对检测结果进行评价。这三个参数可以通过公式（1-3）计算出来。三个参数越高，检测结果越好。
在本节中，确认YOLOv5网络的各组件对最终性能的影响。通过A的整合，AP提高到65.8%。A有助于在野外复杂背景下实现前景的意义。AbFPN由上上下下两个子网组成，用于在测试网络中传播上上下下/中产水平和高级意义信息。AP改善（1.6%、1.3%、1.0%）和AR改善（0.1%、1.1%、0.6%）分别在小、中、大水果检测中得到。另外，通过在小型水果上添加ARFF进一步改善了（AP增加了0.6%，AR增加了1.2%）。这表明ARFF补偿由于标准周特性的屏蔽或小识别导致的上下文信息损失的影响。最后，所有的组件都可以集成AL功能，实现最佳性能，尤其是小型水果。此外，TingNet对于推论速度可以以非常低的附加计算成本（0.5FP）获得最佳性能，这意味着所提出的方法可以在精度和效率之间实现良好的平衡。
此外，为了全面评估AbFPN周对多尺度学习的能力，比较了在TT 100K数据集上由基线视网膜网和AbFPN耦合提供的精确追忆（PR）曲线和由两个基线视网膜网和更快的R-CAN耦合FPN提供的两个PR曲线。在评价指标IoU＝0.75的情况下，我们提出的AbFPN小水果的整体PR曲线（即红色曲线）比FPN周好得多，这表明AbFPN对多尺度对象特别是小对象的测量有效。另外，当回收率为0.6时，比视网膜网高出很多，通过使用FPN的R-CAN更快的小目标测量，获得了约0.57的精度。这些改进意味着所提出的AbFPN可以在复杂的背景下检查更小的水果。也就是说，可以召回更多的多级ID。这显然表明，我们的AbFPN主机网络比FPN主机网络小，中，大。这表明，通过我们的AbFPN设计量子FPN，可以缩小多尺度之间的有意义的间隙，并且可以在复杂的背景下以自私自利的监视方式实现尺度感知的前景特性。
8.系统整合
下图源码＆环境部署视频教程＆自定义UI界面
参考博客《基于GAN的超分辨率刷脸自助水果店（根据水果品质实时指导售价）》
9.参考文献
[1]朱沙.一种基于Andriod的配送APP开发[J].电子设计工程.2016(20)
[2]朱家诚,一种新型自动售餐机控制系统设计[J].王克站,杨波,吴焱明.装备制造技术.2016(07)[3]一种同轴度测量装置[J].左威.机械工程师.2016(03)
[4]陈玉峰.基于PLC与数控机床联合控制的气动机械手[J].山东工业技术.2016(05)[5]移动互联网技术的发展现状及未来发展趋势[J].孙鹏．通讯世界.2016(02)
[6]李春生.移动互联网发展趋势研究[J].中国高新技术企业.2016(01)
[7]周兵．基于Android的影院售票管理系统的设计与实现[J].兰州工业学院学报.2015(05)
[8]王红梅.―中央厨房在中式连锁餐饮企业中的运行优势及发展趋势[J].美食研究.2015(03)
[9]赵怡然.移动终端的APP应用组织研究综述[J].信息通信.2015(01)
[10]丁宗玲,利用LabVIEW软件的数据采集与处理系统设计[J].吴明在,叶柳,杨群,孙进,李爱霞.大学物理实验
2014(04)
[11]李梦潇,姚仕元.基于PCA的人脸识别系统的设计与改进[J].计算机科学,2019,(z1).577-579.
[12]王兴,侯礼宁,白雪.基于RFID技术的身份证识别门禁系统开发[J].高技术通讯,2019,(6).539-545.doi:10.3772/j.issn.1002-0470.2019.06.003.
[13]刘万军,梁雪剑,曲海成.不同池化模型的卷积神经网络学习性能研究[J].中国图象图形学报,2016,(9).1178-1190.
[14]Yue Kaiyu,Xu Fuxin,Yu Jianing.Shallow and wide fractional max-pooling network for image classification[J].Neural computing & applications,2019,31(2).409-419.doi:10.1007/s00521-017-3073-x.
[15]C L Philip Chen,Zhulin Liu.Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture.[J].IEEE transactions on neural networks & learning systems,2017,(Spec).
[16]Changxing Ding,Dacheng Tao.Trunk-Branch Ensemble Convolutional Neural Networks for Video-based Face Recognition.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,(Spec).