科学家们担心，只要对数据进行微小的调整，神经网络就可能被愚弄进行“对抗***”而非帮助。
去年，美国食品和药物管理局(FDA)批准了一种可以捕捉视网膜图像并自动检测糖尿病性失明病变的设备。
这种新型的人工智能技术正在医学领域迅速蔓延。科学家们正在开发一种系统，这种系统可以识别各种疾病的迹象，以及各种图像中的疾病迹象，从肺部的X射线到脑部的计算机辅助测试扫描(CAT)。与过去相比，这些系统有望帮助医生更高效、更经济地评估病人。
类似形式的人工智能可能会从医院进入医疗监管机构、计费公司和保险公司使用的计算机系统。正如人工智能将帮助医生检查你的眼睛、肺和其他器官一样，它也将帮助保险公司确定赔付金额和保单费用。
理想情况下，这样的系统将提高卫生保健系统的效率。但哈佛大学和麻省理工学院的一组研究人员警告称，它们可能会带来意想不到的后果。
周四在《科学》杂志上发表的一篇论文中，研究人员提出了“对抗性***”的可能性。对抗性***是指利用微小的数字数据改变人工智能系统行为的操作。例如，通过改变肺部扫描上的一些像素点，就可以骗过人工智能系统，让它看到一种实际上并不存在的疾病，或者看不到一种真正存在的疾病。
作者认为，软件开发人员和监管机构在未来几年构建和评估人工智能技术时，必须考虑这些场景。更令人担心的是，***可能会导致病人被误诊，尽管只是存在这种可能性。更有可能的情况是，医生、医院和其他组织可以操纵人工智能在账单或保险软件方面的操作，以最大限度地增加他们的收入。
Samuel Finlayson是哈佛医学院和麻省理工学院的一名研究员，也是论文的作者之一。他警告说，因为这么多钱在医疗保健行业流动交易，利益相关者诱骗系统已经通过巧妙地改变计费代码和其他数据在计算机系统，跟踪保健次数。人工智能可能会加剧这个问题。
他说：“医疗信息本身的模糊性，再加上常常相互竞争的财务激励，使得高风险的决策能够在非常细微的信息上摇摆不定。”
这篇新论文加剧了人们对此类***可能性的日益担忧，这些***可能针对从人脸识别服务、无人驾驶汽车到虹膜扫描仪和指纹识别器的所有领域。
对抗性***利用了许多人工智能系统设计和构建的一个基本方面。人工智能越来越多地受到神经网络的驱动。神经网络是一种复杂的数学系统，通过分析大量数据，在很大程度上独立地研究任务。
例如，通过分析成千上万的眼部扫描，神经网络可以学会检测糖尿病失明的迹象。这种“机器学习”的规模是如此之大——人类的行为是由无数互不相关的数据定义的——以至于它可以产生自己意想不到的行为。
2016年，卡内基梅隆大学的一个研究小组使用了印在镜框上的图案来欺骗面部识别系统，让它们误以为佩戴者是名人。当研究人员戴上这些镜框时，系统会把它们误认为名人，包括Milla Jovovich和John Malkovich。
一组中国研究人员也做了类似的实验，他们将红外光从帽檐下方投射到戴帽子的人的脸上。这种光线对佩戴者来说是看不见的，但它可以欺骗面部识别系统，让它误以为佩戴者是音乐家Moby，他是白人，而不是亚洲科学家。
研究人员还警告称，对抗性***可能会欺骗自动驾驶汽车，让它们看到不存在的东西。通过对路标做一些小的改动，他们骗过了汽车，使其检测到的是让路标志而不是停车标志。
去年年底，纽约大学的一个团队该公司的坦顿工程学院创造了一种虚拟指纹，这种指纹能够在22%的情况下欺骗指纹识别器。换句话说，在所有使用这种阅读器的手机或个人电脑中，有22%的概率是可以被解锁的。
考虑到生物特征安全设备和其他人工智能系统的日益普及，这其中的意义深远。印度实施了世界上最大的基于指纹的身份识别系统，用于发放政府津贴和服务。银行正在向自动取款机引入人脸识别功能。以与谷歌同属一家母公司的Waymo为例的一些公司正在公共道路上测试自动驾驶汽车。
现在，Finlayson先生和他的同事在医疗领域发出了同样的警告：随着监管机构、保险公司和计费公司开始在软件系统中使用人工智能，企业可以学会利用底层算法。
例如，如果一家保险公司使用人工智能来评估医疗扫描结果，那么一家医院就可以操纵扫描结果，以提高医疗支出。如果监管机构建立人工智能系统来评估新技术，设备制造商可能会改变图像和其他数据，试图欺骗该系统，使其获得监管部门的批准。大连妇科医院排名 http://www.bohaifk.com/
研究人员证明，在他们的论文中，通过改变一幅良性皮肤病变图像中的少量像素，一种诊断人工智能系统可能被欺骗，以确定病变为恶性。他们发现，简单地旋转图像也能产生同样的效果。
对患者病情的书面描述做一些小改动也可能改变人工智能的诊断:“酒精滥用”可能产生与“酒精依赖”不同的诊断结果，而“腰痛”可能产生与“背痛”不同的诊断结果。
反过来，以这样或那样的方式改变这样的诊断很容易使保险公司和最终从中获利的医疗机构受益。研究人员认为，一旦人工智能深深扎根于医疗体系，企业将逐渐采取能带来最多收入的行为。
Finlayson先生说，最终的结果可能会对患者造成伤害。为了满足保险公司使用的人工智能，医生对医疗扫描或其他患者数据所做的改变，最终可能会成为患者的永久记录，并影响未来的决策。
医生、医院和其他组织有时已经在操纵软件系统，这些系统控制着整个行业数十亿美元的资金流动。例如，为了提高医疗支出，医生们巧妙地修改了账单代码——例如，将简单的X射线描述为更复杂的扫描。
宾夕法尼亚大学沃顿商学院助理教授Hamsa Bastani研究过医疗体系的操纵，他认为这是一个重大问题。“有些行为是无意的，但并不是所有的，”她说。
作为机器学习系统的专家，她质疑引入人工智能是否会让问题变得更糟。在现实世界中实施对抗性***是困难的，而且目前还不清楚监管机构和保险公司是否会采用容易受到此类***的机器学习算法。
但是，她补充说，(人工智能)值得关注。“总会有意想不到的后果，尤其是在医疗保健领域。”她说。