【人工智能行业大师访谈5】吴恩达采访林元庆

来源:Coursera吴恩达深度学习课程

 作为deeplearning.ai课程的一部分,Andrew希望除了教授技术理念之外,同时介绍一些深度学习的先驱给大家认识。在这个视频中,Andrew也希望问问这些先驱们,能不能给一些工作上的建议,关于如何入门深度学习,如何做课题研究或者如何在深度学习领域找一份工作。【人工智能行业大师访谈4】吴恩达采访Yoshua Bengio。接下来,采访林元庆,文章末尾有总结。

 吴恩达:欢迎你,元庆,今天你能参与我们的活动,我真的很高兴。

林元庆:没问题。

吴恩达:如今你是IT届的领头羊,当中国政府寻求英才,去着手建立国家深度学习实验室(National Deep Learning Research Lab)时,他们发掘了你。我认为在深度学习领域,你可以说是全国第一人。我想问一些关于你工作的一些问题,但在这之前,我想听听你的个人经历,那你是如何发展到做现在的工作的?

林元庆:好的,事实上,在我读博士之前,我的专业是光学(Optics),光学和物理学(Physics)有很多共同之处。我认为,我的数学基础很坚实。我来美国之后,我就想什么专业能做我的博士课题?我就想,好吧,我可以选择光学或者其他什么的,早在2000年的时候,我觉着那时候纳米技术(nanotechnology)很火,但我当时就想也许我应该着眼于更激动人心的东西,恰巧那时有个好机会,我在宾夕法尼亚大学上课,在那儿,我认识了Dan Lee,之后,他成了我的博士导师,我就想机器学习是很棒的一件事情,我兴奋异常,然后换了专业,因此我是在宾夕法尼亚大学读的博士,我的专业是机器学习。我在那呆了5年,很令人兴奋的时光,我学到了很多东西,很多算法甚至是PCAs,我以前从不知道那些东西,我感觉每天都会学到新的东西,所以对我来说,那是极其令人激动的经历。

吴恩达:那是你许多新尝试之一,你做了很多工作,尽管在那些时代并不为人所欣赏。

林元庆:对,确实是,所以我认为NEC(美国智能图像研究院)是个神奇的地方,刚开始我在那儿的身份是一名研究人员,我也喜欢,学到很多东西的感觉。事实上,在NEC的后期,我开始研究计算机视觉方向(computer vision),说真的,在计算机视觉领域,我起步相对较晚,那时我做的第一件事是参加了ImageNet大规模视觉识别挑战赛,那时这个比赛第一年举办,我负责一个团队研究一个项目,很幸运,我们实力很强,我们得了第一(got the number one place),以绝对的优势得了第一

吴恩达:所以你是ImageNet挑战赛冠军的第一位得主?

林元庆:是的,我在那场会议上做了演讲,对我来说,那是一次很棒的经历,那让我接触到了如此大型的计算机视觉技术。从那时起我就开始研究这种大型问题了,当纽约时报(New York Times)头版文章发表后,之后关于AlexNet也被发表时,我真的很震惊,我想,哇,深度学习是如此强大(deep learning is so powerful,从那以后,我在此方面付出很多努力。

吴恩达:作为中国国家深度学习实验室的主任,你们肯定正研究很多振奋人心的项目,那对正在观看的全球观众而言,关于这个实验室,他们应该了解些什么

林元庆:国家工程实验室的目标就是建立一个巨大的深度学习的平台,希望是最大的一个或至少在中国是最大的,这个平台会给大家提供深度学习的框架,类似于PaddlePaddle,我们会提供大规模的计算资源,我们还提供庞大的数据库。如果大家能够能在这个平台上开展研究或开发好的技术,我们会提供巨大的应用空间,比如说,技术在巨大的应用如百度上被证明,技术水平就可以融合进来并对其做出改善,因此,我们认为整合这些资源。我认为会造就一个强大的平台,我各举一个例子,比如说,我们现在发表了一篇文章,另一个人想要重复操作的话,最好的方法就是在某平台处提供代码,之后你就可以把代码下载到电脑上,,你会尝试寻找某处的数据组,然后你大概也需要得到好的计算能力,以便让你的计算资源运转如飞。所以这一切会让你省些功夫,在国家实验室工作将会变得很容易,如果某些人应用此平台做一些工作,写一些文章,实验室能在平台上拥有这些代码,计算架构已经建立起来了,数据也是,基本上你只需要一根线把数据库连接起来,所以,这可以给计算机科学重复性问题的损失带来巨大改善。所以,很简单的,在几秒之内,你就可以开始学习文献上的一些东西,对,这是很强大的,所以,这只是我们工作中的一个例子,以确保我们提供给整个社会和产业一个真正有效的平台(a really powerful platform)。

吴恩达:太神奇了,这确实加速了深度学习研究。

林元庆:没错。

吴恩达:你能透露下中国政府给国家深度学习实验室提供了多少资源吗

林元庆:我认为,对于国家工程实验室而言,政府可以投资建设一些基础设施(infrastructure),但我认为更重要的是这将会成为中国的一个旗舰机构(flagship),引领许多有关深度学习方面的研究,包括像国家项目,法律政策等,事实上这是很有效的,我认为百度,我们很荣幸拥有这个实验室。

吴恩达:你可以说是居于中国深度学习领域的核心地位,中国有很多项目,全世界的观众都还未曾意识到或见到。那国外的人们,应该对中国的深度学习领域有哪些了解呢

林元庆:我认为在中国,尤其是过去的几年,深度学习充实了一个产品,此领域的确在急速发展(booming),从搜索引擎(search engines)到,比如说,词组识别(phrase recognition),监控(surveillance),乃至电子商务(e-commerce)等许多方面。我认为,他们正在深度学习领域投入巨大的努力,并充分利用技术使这个产业变得更有影响力。总体而言高科技的发展是很重要的。我认为对我来说,能和许多人分享这些,我们相信,这是很重要的,这通常被称为正向循环(positive loop。举个例子,我们开始构想建立一些技术,这些技术会有一些初始数据,也会有一些初始算法,这些会形成服务的初始产品,接着我们能获得用户的数据,其他人会得到更多的数据,所以,我们就可以研发更好的算法,因为我们看到更多的数据就会找到更好的算法,于是我们就有了更多的数据和更好的算法,我们就可以为产品服务提供更先进的技术,然后我们也绝对希望会吸引到更多的用户,科技变得更加先进,接着,我们就可以得到更多的数据。这是非常好的积极地举措,这也是很特别的,尤其对于AI相关的科技和比如激光(laser)等传统科技(traditional technology)而言。我以前研究过那些,所以,科技发展的过程会变得线性,但之前AI科技因为有了正向的循环,你可以想象科技肯定会发展的非常快,当我们进行研究时,这也是很重要的。当我们设计ND时,我们在快速发展时期的方向研究,,但如果整个产业没能够建立起这个正向循环,如果我们没能够建立起这个强大的正向循环,这很可能行不通,因为有远见的其他人会建立起此循环,他们会比我们更快的到达那个水平。对我们而言,这个逻辑很重要,需要我们注意,比如说,你需要一个公司,那我们该在哪个方向研究,不该在哪个方向研究,这绝对是需要注意的因素。

吴恩达:如今,无论在中国,还是美国乃至全球有许多人想进军深度学习和AI领域,对于那些人你有什么建议

林元庆:如今,初始进军者肯定拥有开源框架(open source frameworks),我认为这是很有效的。当我开始研究深度学习时,当时并没有很多开源资源可用,但今天,在AI特别是深度学习领域,是很好的一个社区,那有很多很杰出的人才,就像是TensorFlowcaffe,他们也称之为caffe 2是吧?在中国,我们有很好的PaddlePaddle甚至是在网上,他们有很多教学课程,教你怎么利用那些资源,还有,如今也有很多公共可用的标准,人们会看到技术高超,富有经验的先驱(skillful, really experienced people,比如,他们是怎么利用那些标准的。总的来说,这是接触深度学习的好时机(it’s time to get familiar with deep learning。我认为,这些都是很好的出发点(really good starting point)。

吴恩达:你是如何得到这些启发的

林元庆:事实上,我曾走在南辕北辙的路上,我学习了PCA 、LDA等其它之后,才学习的深度学习。总体而言,我感觉这也是条不错的学习道路,打下了很多基础,我们学习了图模型,这些都是很重要的。尽管现在,深度学习发展的无法想象,但知道一些规则会给你关于深度学习的运作模式很好的直觉感。然后有一天,深度学习和法则之间会产生关联,就像框架和途径那样(One day, probably leads connection of deep learning into laws like a framework or approach.)。我认为这之间存在很多联系,这些法则丰富了深度学习,我的意思是为深度学习提供了多样途径,是的。我认为开放源码是很好的开始,那是很有效的资源,我还会建议你学习一些有关机器学习(machine learning)的基础知识

吴恩达:谢谢你,听起来很棒,即使我认识你很长时间了,我现在都没想到你思考的很多细节,很感谢你。

林元庆:谢谢让我参与。

总结:利用好开源框架,像是TensorFlowcaffePaddlePaddle今天,在AI特别是深度学习领域,有很好的一个社区,那有很多很杰出的人才甚至是在网上,他们有很多教学课程,教你怎么利用那些资源,还有,如今也有很多公共可用的标准,人们会看到技术高超,富有经验的先驱(skillful, really experienced people,比如,他们是怎么利用那些标准的。总的来说,这是接触深度学习的好时机(it’s time to get familiar with deep learning

说明:记录学习笔记,如果错误欢迎指正!写文章不易,转载请联系我。

猜你喜欢

转载自blog.csdn.net/csdn_xmj/article/details/119919811