专访英特尔AIPG全球研究负责人Casimir Wierzynski:物理学、隐私和大脑将根本性塑造AI

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/84504843

在11月14日至15日在北京召开的英特尔人工智能大会(AIDC)上,英特尔人工智能产品事业部(AIPG)全球研究负责人Casimir Wierzynski发表了主题为《人工智能研究——物理学、隐私和大脑》的演讲。他表示,物理学、隐私和大脑,将根本性地塑造人工智能的未来。

有数据表明,AI对于计算的需求每3.5个月便会翻倍,在过去六年当中增长了约300000倍。由此,人工智能对于算法、架构以及所有的硬件乃至整个产业来讲都是一个巨大的挑战,这是物理学能够帮助AI的地方,只有物理学突破才能满足AI计算的爆发式增长需求。

“AI的一个重大挑战是确保我们释放能力的同时,不违反我们的价值观。其中一个重要的价值观就是隐私。”Casimir Wierzynski反复强调隐私在AI发展中的重要性。他认为,机器学习和隐私之间存在矛盾,机器学习总想要读更多的数据,而隐私天然地想要去隐藏数据。Casimir Wierzynski的团队正致力于使同态加密及其他私有的机器学习技术变得更加强大和实用。

Casimir Wierzynski表示,大脑是终极的人工智能机器,深度神经网络就是由大脑所启发。不断推动AI的前沿发展,需要了解人的大脑是如何运转的。英特尔所兴奋的不仅是能够更好地开发人工智能系统,而是解密全人类最大的神秘——大脑的机理。

目前,Casimir Wierzynski专门负责识别英特尔下一代AI系统当中的重要技术,并着力孵化它们。与英特尔Lab或以产品为导向的团队不同的是,他关注的更多是与AI有关的前沿的或者前瞻性的、高端的研究领域。除了进行研究、出版文章外,通常情况下他还会与学术界的科学家进行合作,和英特尔的多个业务组进行合作来测试一些大的想法。

演讲结束后,Casimir Wierzynski接受了AI科技大本营的专访。

以下是演讲的主要内容:

我想跟大家分享三个广泛的话题,现在英特尔正在去努力,并且我们相信这三个方面将会根本性的改变整个人工智能方面的领域,也就是物理学、隐私和大脑。

在英特尔,我们非常在意材料物理学,我们进行材料物理学方面的很多研究,比如说在这里给大家一个小测试,在室温下可以做磁铁的有三种元素,铁、钴、镍。今年我的一些同事做出了一个非常根本性的发现,就是还有第四个元素,就是钌。这是在《自然通讯》杂志上,在今年早些时候进行发表的。但是物理学和AI之间有什么样的关系,AI的物理学是什么意思呢?

这个答案对于AI的计算力是有一个指数型的需求,这张图来自非常好的报告,来自OpenAI的同事,他们测量了达到这个关键的AI研究里程碑所需要的浮点运算的数量,这是对数尺度的,所以直线表明了是指数型的。他们发现对于AI计算的需求可以说是每3.5个月,在过去六年当中每3.5个月会发生翻倍,在六年当中达到了大概300,000倍。所以AI计算在这样的速度上来扩展,对于整个的算法、架构以及所有的硬件、基片来讲,对产业来讲就是一个巨大的挑战。这就是物理学能够帮忙的地方。

关键并不是要把物理学当作一个限制,而是一种工具,Richard Feynman在1959年就指出了,而且今天也是正确的,就是在纳米级别的创新方面还有大量的空间。在我的团队当中,我们所研究的一个技术就是怎么样去利用制造芯片的第三维度,也就是一个很有希望的思想,怎么样在晶体管上一层一层去叠加更多的层数,导致垂直连接的高密度,这叫做整体的3D集成电路。通过这些设备以3D的方式来进行密集的连接,你可以去减少这种信号传输所需要经过的线缆的长度,会减少计算的耗能,并且帮助你扩大在一个单位面积内的晶体管数量,这个设备是在去年斯坦福大学所完成的,在《自然》杂志上刊登。

我的团队正在和他的主要作者Subhashish Mitra教授共同探讨,看看如何把它用在AI工作负载上。如果未来进一步展望,我们调查新的设备基于新的材料和新的物理学的新设备。大部分今天的计算都是基于这种布林逻辑,涉及到开和关,我们使用的晶体管是基于大家熟悉的理念,使用电厂来开或者关掉电流。但是还有一些物质的其他物理特性是可以利用的,比如说控制开关传输信号和去读出这些信号。今年在自然物理学杂志上,我的英特尔同事建立了一种新的开关设备,他们把它称作磁电自旋轨道器件,它使用新材料,就像自旋流和磁化新材料的量子特性,使得我们可以更低的电耗来实现开关。另一种方式来思考在AI计算领域当中的机遇和挑战的方式使用这张图,在这张图上三个轴是耗电、错误率、复杂性。

另外一个非常重要的AI问题,就是隐私问题。AI的一个挑战是确保我们要释放能力的同时,不违反我们的价值观。其中一个重要的价值观就是隐私。在机器学习和隐私之间存在一些矛盾,机器学习总想要读更多的数据,而隐私天然的想要去隐藏数据,我的团队正在研究一些方式,使用密码学来解决这种矛盾,然后使得我们可以有更多的AI新的用例。假设一个用户有一个非常私密的数据,他希望能够在云上对这个数据进行处理,如果他能够去将这些数据来进行加密,并且把他们去发到云上进行处理,而不需要分享这个密钥的话,而且可以得到一个加密的回传,会是非常理想的。这种能力来进行加密数据的计算,叫做所谓的同态加密。

2009年,由于加密技术取得了突破性进展,同态加密在理论上已变得可行,但是它在实践中几乎不可行,因为它需要进行太多的计算。

自那之后,同态方案得到了巨大改进,尤其是在执行深度学习中使用的各种计算方面,如矩阵乘法。现在我们快速的看一下,这在现实当中如何使用。这里是有一个动画,它说明一个医院如何采用同态加密来进行云中的分析,而与此同时,从头至尾保持加密,这就是我们这个医院对于患者进行扫描,然后使用密钥来进行数据加密,这个数据就得到保护。把这个数据发到云上,这个云进行全部的在加密状态下的数据处理,最后答案还是加密的,以一种加密的形式传回来,只有这个医院使用了密钥才能够解开这个答案。这样能够发现,原来这个可怜的患者他的肺部有蓝色的这部分是有问题的。

我的团队正在致力于使同态加密及其他私有的机器学习技术变得更加强大和实用。尽管这是开发者大会,但我要提及的一点是,我们也在努力使非专业人员能够轻松使用这些加密工具。你可以将同态加密视为一种用于运行模型的不同硬件目标。它是一台接受加密输入并输出加密答案的机器。因此,我们针对英特尔nGraph编译器创建了后端,使开发人员能够使用TensorFlow 或PyTorch等框架构建模型,然后对这些模型进行编译,让它们可以在使用加密输入的情况下运行。我们的目标是在今年年底之前,将这款工具作为开源工具提供。

到目前为止,我们已经谈到了如何能够去把AI人工智能结合起来,把计算进行加密,我们这个业务组在不断地推动AI的前沿,通过了解人的大脑是如何发挥贡献的,因为我们是一个神经生物科学家,我们所兴奋得不光是能够更好的开发人工智能的系统,而且是解密全人类有史以来最大的神秘,也就是大脑的机理。我们知道,大脑是终极的人工智能机器,深度神经网络就是由大脑所启发,实际上就是大脑的不同的并行的一些电路板,正如神经网络的模型生物的这些神经元,也是这样排列,他们是线性的输入、非线性的输出。

我们知道确实深度学习在过去十多年取得了巨大的成功,这也是为什么今天我们能够在这里探讨这个话题,但是仍然深度学习还有一些麻烦的地方,比如现在的模型有困难从几个小时的例子来进行一个结论的达成。我们可以都来一起做一下这个实验,这是Tenenbaum教授曾经编写了一个模型能够生成一些想象中不存在的一些图形,然后给他们起了一个名字叫“tufa”,这是一个假的名字,但是作为人类,我们可以根据这三个示例,很容易地在这张图片中找到其他“tufa”。这些“tufa”不尽相同,但是拥有类似的特征。我在上周让我六岁的孩子也进行了这个实验。你能找出它们吗?请大家找到另外两个人工做成的图形,找到的请举手,给我们指出来。我们刚才做的测试,对于目前深度学习的系统来说是很难实现的,他们需要几百个可能样本才能够找到这样的一些图形。所以人类可以非常高效的进行一些结论的达成,特征的寻找。

我们还需要去找到大脑工作的一些原理,对于那些神经生物学家来说,他们可能看到这些神经元,也就是突触这些的连接。我们看一下蓝色的部分,先激活,然后红色的变得更强,这是一个原则,还有其他的原则吗?有没有不同的一些连接规律,比如语音、图形的处理,具体大脑的连线图是什么样的呢?一个简单的答案就是我们不知道,但是我们要发现。我的团队和哈佛与麻省理工的科学家合作,他们做的是英雄式的工作,也就是能够纳米级的清晰度来去扫描大脑,来重建单个神经元突触。Jeff Lichtman在哈佛大学的实验室有一个机器,也就是把大脑做切片,每个切片是30纳米的厚度,他们非常细致的做完这些切片之后就来做计算工作,海量的计算工作,向你们描述一下多么的海量,大家看一下这个清晰度,一立方毫米图像的大小是60GB的,一立方毫米的大脑则占用2 PB的数据。所有的数据都必须和其他的数据连起来,组成分层的3D的大脑模型。

我们可以非常清晰的跟踪到这样神经元的突触,就是红色的球球,如果把它放大的话,神经生物学家就可以对他进行重构,然后测试各种各样的一些原理,比如说在大脑的细胞之间新的连接是如何产生的,同时找到不同的大脑以及不同的大脑之间的一些信号产生,从而更好的理解大脑是如何工作的,大脑的结构。谈到神经网络,这样的一些图形能够帮我们更好的理解大脑使用什么样的原理,使用什么样的结构。

非常高兴得能够与大家分享我的工作成果。谢谢聆听。

以下为AI科技大本营专访实录,并做了不改变愿意的整理:

CSDN:首先想请您简单介绍一下在加入英特尔一年多做了哪些工作,包括技术方面以及人员方面的成果和进展。

Casimir Wierzynski:我在人工智能产品部门的研发团队建设方面,我的目标是确保我所组建的研究团队的人员,每个人能将百分之百的时间投入到与人工智能研究的工作上来。英特尔公司一直以来开展大量与人工智能有关的研究工作。但我认为非常有必要专门找到这样一群人,打造一个无论是从时间的分配上和职责的分配上都是百分之百投入到AI的相关研究上的团队。

CSDN:刚才您在台上也提到了用密码学去解决机器学习与隐私之间挑战的问题,这个解决方案是如何想到的?此外,提到今年年底会开放同态加密的工具,提供给开发人员,但是它有一个问题,比如消耗大量的计算时间,能否具体讲讲英特尔在这方面是如何解决的?

Casimir Wierzynski:首先我要澄清一下,实际上同态加密这个想法也不算是我想到的,最早是2009年Craig Gentry在斯坦福攻读博士的论文(A Fully Homomorphic Encryption Scheme, Gentry, 2009)里所写到。我之前经常拜访麻省理工,拜访教授,就他们最新的成果进行演讲,其中有一位教授提到了同态加密。我们确实知道同态加密这个方法的计算强度确实非常大,但当时那位教授向我们介绍了他的论文,基于他的论文我们发现计算的强度已经实现了大规模的下降。我当时就有这种感觉,我觉得这个技术现在已经非常接近可以用在商业化的规模上。当然,具体你说的某一项特定技术会在哪个时间点上腾飞、起飞,这个现在很难说,但至少我有这样一种感觉,同态加密已经发展到即将可能进行商业化大规模使用的时间点上。

您的第二个问题主要是问到英特尔在特定的领域里会做哪些工作,让它采纳起来的难度会有所降低。我觉得主要是分成三个部分:第一,英特尔内部有很多专门从事密码学的研究人员,他们会开发出非常好的算法来支持技术。第二,我们也有非常大量的、优秀的软件工程技术方面的人才,他们可以使得整个库变得更可获得、更好用,这也是今天我在大会演讲当中主要提到的。第三,实际上也是英特尔一贯的做法,如果英特尔认为这是一个非常重要的工作,或者具有关键性意义的工作,我们会进行相应的投入,会有一个比较明确的路线图来指导这个工作。

最后我还是想再补充一下,之前在大会上主要谈的是同态加密的做法,它的主要目的是用来协调在机器学习和隐私方面的关系。但是我想说的是,同态加密只是在解决技术挑战方面的工具之一,换而言之,现在还有其他的工具,我们也在考虑、在看,因此同态加密并不是唯一的银子弹。

CSDN:看到您更加关注的是机器学习方面的技术发展,最近谷歌DeepMind的BigGAN在图像生成方面取得了非常大的进展,您这项成果发展是如何看待的?与谷歌是如何展开合作的?

Casimir Wierzynski:首先要说的是,实际上谷歌和英特尔的工程技术人员在很多的话题和领域当中都开展了很多合作。在深度学习网络出现之后,很自然的企业需要来评估这事是否是将来会做大的事。

这个新东西出来以后我要评价以后是否有可能是一个很大突破,是一件大事,有大事发生的。但是关于您提到的问题,茵茵所带领的团队是做深度学习的相关研究,所以和我的团队相比,他的那个团队是更着重在深度学习上。

而且办公室我的工位和刘茵茵(AIPG数据科学部主任)的工位隔着30米,我俩时不时就具体的算法问题来沟通和交流。AI产品集团部门在技术上内部的沟通和交流是挺频繁的,不过具体说到算法和深度学习还是茵茵的团队管得多一些。

CSDN:包括最近关于机器学习的顶会,NIPS2018,最近有一个关于机器学习方面的成果展示,我要问的是对于顶会上发表论文是如何看待的,是否把它看作一个主要的工作成果或者是KPI的展示。

Casimir Wierzynski:我们确实是非常鼓励英特尔的研究人员积极来参与顶级学术会议,并且发表论文。如果是和神经学方面研究有关的,那就可以是NIPS。而且我们的研究发表论文也不局限于特定的领域,任何的话题都可能,如果是涉及到半导体或者芯片,我们可能会选择像《自然》或者是《科学》这样的期刊去发表。密码学那边也有专门的学术会议,也有专门的期刊。我们还是非常鼓励员工能够积极的参与这些学术期刊文章的发表和学术会议,这样可以来展示他们的研究成果。

CSDN:云端芯片和终端芯片在各自的应用场景都非常有用,包括云端更多的是用于深度学习训练和推测,终端芯片更多的应用在医疗、视频监控等物联网场景。英特尔目前倾向于哪个方向,基于怎样的战略和技术方面的考量?

Casimir Wierzynski:我尝试着用一种风趣的方法来回答你的问题。我前面也讲过,我们做的研究工作主要是放眼长远,所以我们的地平线是在很远的地方,如此之远,以至于可以同时涵盖云端的研究和边缘或者终端的研究,就好像我很幸运,不需要在我的两个孩子当中挑出我更爱谁多一点。

猜你喜欢

转载自blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/84504843
今日推荐