文章来源：ATYUN AI平台
人工智能图像识别技术已经取得了一些令人惊叹的进步，但正如一项新的研究表明的那样，这些系统仍然可以被那些愚弄的例子所绊倒。
一群麻省理工学院的学生最近愚弄了谷歌开发的一种图像分类器，这群学生周三发布的一篇论文详细描述了一种可以更快地欺骗系统的技术。这种欺骗谷歌系统的方法提供了一个真实的例子，说明基于人工智能的图像识别系统是如何被黑客入侵的。
论文地址：https://arxiv.org/pdf/1712.07113.pdf
该团队的新算法从一个它想用来欺骗另一个系统的图像开始，从他们的论文中的一个例子看出，有一只小狗的图片，然后开始改变像素以使图像看起来更像源图像;在这种情况下,系统识别出来的对象是两名滑雪爱好者。当系统起作用的时候，“对抗”算法就会对图像识别系统提出挑战，这个系统的版本会迅速移动到任何一个人都能识别的范围(查看上面的视频)。但是，在所有的时间里，这个算法只保留了破坏像素的正确组合，让系统认为它是在看着一只狗。这听起来可能微不足道，但该团队强调，真正的机器学习算法——无论是在自动驾驶汽车还是在社交媒体上——都可能被欺骗，甚至可能被滥用。“系统安全是非常重要的，并且不能被利用。”该研究中的一名成员Anish Athalye说道。
研究人员在谷歌的云视觉API上测试了他们的方法——这是一个很好的测试案例，部分原因是谷歌没有发布任何关于计算机视觉软件的工作原理，甚至是系统用来对图像进行分类的所有标签。这项技术能够扫描数码照片，识别所描绘的对象。但API并不完美。当像素被改变或形状和颜色被改变时，图像识别可以被欺骗来对图像进行错误分类。该团队表示，到目前为止，他们只尝试了谷歌的系统，但他们的技术在其他图像识别系统上应该也可以运行。
Athalye和他的同事们通过对图片进行细微的调整而设计了一个计算机程序。在另一项测试中，他们成功地欺骗了谷歌的API，该系统误将一架直升飞机认作一组步枪。
这是一个引人注目的黑客攻击，因为它在一个“黑箱”条件下的一个实际的谷歌产品上运行，在这种情况下，研究人员无法访问目标技术的内部工作，他们只得到了关于系统如何决策的部分信息。其他试图愚弄图像识别技术的尝试主要集中在“白箱”系统上，这些系统的底层计算机制是已知的。
为了利用谷歌图像识别系统，麻省理工学院的研究人员使用了一种被称为自然进化策略（NES）的计算机算法。这基本上帮助他们猜测图像识别是如何对图像进行分类的。
他们的程序将为谷歌提供一组经过修改的图片，观察他们如何分类，并在提交另一批文件之前做出相应的修改。在他们自己的演示中，他们使用了大约100万张图片，直到他们的程序最终设计出一个愚弄了谷歌系统的程序。
这肯定存在很多问题。但是，麻省理工学院的研究人员发现，他们的方法比之前的在黑箱条件下的方法速度快了1000倍。麻省理工学院的学生Andrew Ilyas说，它可以做到这一点，因为他们的程序会在图像上调整大量的像素，而不是每次都是几个像素。
谷歌拒绝就这项研究发表评论，但该公司的人工智能程序员也一直在研究保护基于机器学习系统的方法。这家搜索巨头还与包括微软和Facebook在内的其他公司一起推广人工智能技术的最佳实践。
有很多研究人员正在研究类似这样的对抗的例子，但是对于像自动驾驶汽车这样的安全关键的应用，人工智能在对抗攻击是不可能的，或者至少是更困难的情况下，才会被信任。
本文转自ATYUN人工智能媒体平台，原文链接：麻省理工学院的学生们愚弄了谷歌图像识别技术，计算机视觉算法仍然很容易被骗
更多推荐
亚马逊推出自主学习系统，使Alexa自动检测错误的理解并及时纠正
