Goodfellow说,聊失败才不是在秀优越...

花栗子 编译自 Veronikach
量子位 出品 | 公众号 QbitAI

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

 我们是五月的花海

五月了,美国研究生申请季也差不多过去了。不知道大家有没有成功脱离失学儿童团。

Ian Goodfellow是来自谷歌大脑的科学家。作为GAN的爸爸,他也是MIT科技评论选中的“35 under 35”中的一员。

不过,背着金光闪闪履历的他,就是爱讲自己的被拒史。大概,也是想给失落的人类一些虚无的希望吧。

640?wx_fmt=png

 非正式简历

这一次,他光顾了最适合秀失败的场所之一,访谈节目How I Fail,接受了金发碧眼的助理教授维罗妮卡 (Veronika Cheplygina) 的黄金12问。

看看,除了被MIT放凉了之外,Goodfellow还享受了怎样的失败——

实践篇

怎样描述自己的工作?

G:我是谷歌的AI研究人员,手底下还有一群小伙伴。我们就是要努力理解,AI是怎样失败的,这样才能建立一套清晰的工程原则,对AI开发负责。

640?wx_fmt=gif

 看,我的手速

我把大量的精力花在研究怎样让AI更加安全上——比如怎样防止黑客欺骗AI系统,去做他们想做的事情。

怎样描述这份非官方履历?

G:我的小伙伴Moritz Hardt发推告诉大家,一段成功的科研事业,往往是从收到一大摞厉害的研究生院的拒信开始。

然后,我就列出了自己被拒的经历,回应了他。但那些 (上拉至推特截图) 经历并不是我完整的被拒旅程,以下这一份可能比较全——

· 那时候,还在斯坦福读本科的我,生物和化学都略显捉急,但还是打算从事神经学方面的工作。成绩是过得去,但感觉要当教授的话这分数还是不够好。

640?wx_fmt=jpeg

 拒信收到手软

· 把重心移到计算机上之后,我就申请了几份本科生的实习,谷歌当时没要我

· 我还申请过一份跟着斯坦福教授工作的实习,申请的时候提交了成绩单。教授回复说,我的课你怎么得的A?

以我的成绩确实拿不到A,我还以为是curve太善良了,然而事实是系统出现了问题。结果学校就把我的成绩改下去了

640?wx_fmt=gif

 真是个惊喜

· 有几家大型科技公司给了我实习,但不是做机器学习,也不是计算机视觉。简历里面,大家是看不到这些的,只能看到最后的成功。

不过,我也很感谢Willow Garage和斯坦福的CURIS项目,给了我关于机器人视觉的暑期实习机会。

640?wx_fmt=png

 欢迎明年再来

· 读研和读博的时候,我基本上没有过校外的fellowship。这就是说,我得当助教,或者选择专业相关的其他校内工作,很难把精力集中在自己的研究兴趣上。

那时,我一直在申像魁北克的PBEEE这样的fellowship。从09年开始的四年时间里,不停地尝试,从来没成功过。

直到13年,才从谷歌那里拿到了第一个深度学习的Fellowship。

· 读博期间,我的论文投到像ECCV这样的各种视觉会议,基本上都是被拒。我在机器人感知上做了很多,但都是不见天日。

怎样碾压挫折?

G:高中时期,我有三年都在学校的辩论队。两个教练很厉害,一个是Kerry Koda,一个是Thomas King。

我也很惊讶,这段经历居然可以在好几个不同的方面,给我的科研带来帮助。

640?wx_fmt=gif

光是对抗挫折,所有辩手都要训练,怎样从情感上对待失败。每一轮辩论都有输赢,没有谁可以一直赢。

如果长期受到辩论环境的浸染,就会习惯这种节奏,输掉一轮之后很快进入下一轮。输赢都属于动态平衡。

罗列失败=秀优越?

G:我发关于失败的推文,观众似乎都没有这样的感觉。也有一些人,还会谢谢我分享这些经历。

人们有这样的想法我完全可以理解,但我觉得大多数观众还是可以理解,我是希望帮助大家逃脱冒名顶替综合征 (Impostor Syndrome)。

不愿分享成功?

V:另一方面,你觉得人们会不会因为对失败习以为常,而不去分享自己的成功?

G:不会,我们基本上都是被动分享,不管是工作总结,还是申请资金的时候。

640?wx_fmt=jpeg

 不是我要秀的

往会议和期刊投论文的时候,每个人都会用上自己的全部能量,尽情把成功的地方表现出来,把不太成功的部分都扫到地毯下面去。

我个人还是会尽力削弱这样的动力,但它还是不会很快就消失的。

哲学篇

离散的还是连续的?

V:之前,我们都是用一些离散的点,比如获得职位或者发表论文,来描述成功和失败。有没有其他类型的失败呢?

G:其实,我觉得那些离散的点,大多不是很重要。

我在推特上发过,申研究生的时候拒过我的学校列表,但那都还好,因为还是有很多学校录了我

640?wx_fmt=jpeg

比如,2009年我遇到最大的困境,不是收到MIT和CMU的拒信;而是不知道自己能不能在拿到录信的学校,比如斯坦福和伯克利,做起自己想做的研究

那时候很方,不知道我会跟着哪位教授,因为博士生有轮换制度,录信里面都没有明确的导师。于是,我跑去了蒙特利尔大学,提前把Yoshua Bengio锁定为我的导师。

读博时期,最大的困境是,我的大部分时间都花在,用无监督特征学习方法,来解决计算机视觉的监督学习问题。Alex, Ilya和Geoff赢了ImageNet比赛,我就懵B了。

640?wx_fmt=jpeg

耗费时间写那种钻进死胡同的论文,可能就是主要的失败了。

我的研究如果能影响其他人,那就是成功,即便被大会拒了也没关系。如果一项研究产生不了什么影响,就算在大会上发表了也可以算失败。

今天你失败了么?

V:有什么正在经历的失败么?或者对未来有什么犹疑?

G:4年了,我一直想了解,为什么神经网络那么容易被input里一点小小的干扰“迷乱心智”。怎么才能在这种情况下,建立一个高准确度的模型,没有谁知道。

640?wx_fmt=jpeg

从传统观点来看成败,今年ICML审稿很严,感觉我投的论文基本都没戏了。

但一个美好的日子,我可能会写出三五个想法,然后感觉它们都实现不了。每个想法的时间成本不高,我可以尝试很多完全不同的想法。某些想法上的失败,也就是我工作流程里最普通的一部分。

怎样才算成功?

V:要评判一个研究人员是否成功,你觉得成果的发表应该在评判标准里占到多大比重?有没有其他因素容易被忽略?

G:我们对成功的评判,可能会让这个领域错过许多成功人士。

640?wx_fmt=jpeg

举个栗子,我们要花很长时间来评估研究成果和研究人员,但我们没有花多少时间去考察这个评估过程本身

没有谁有义务去保证,大会的审稿是公平的是准确的。

从2014年NIPS的一致性实验里面,可以看出审稿流程还是有不少噪音的。可是从结果来看,并没有人要致力于制定出更好的审查流程。

升华篇

ML的失败,不是普通的失败?

V:你觉得机器学习领域跟失败之间的关系,和其他领域有什么不同?这会不会对不同人群产生不同的影响?

G:机器学习领域的期待值很高,因为这里总是可以快速产生很厉害的研究成果,并且能够帮助其他人快速产生研究成果。

比如,Ilya Sutskever在谷歌学术里,已经被引用过5万多次了;再看数学领域,最近的四位菲尔茨奖得主,没有一个引用数超过5千

640?wx_fmt=gif

我们这个领域,成功是爆发式的,这一点有些奇怪。一部分原因可能是,我们太爱用Arxiv.org了,而其他领域的研究人员可能更偏爱同行评审过的论文。

不过说实话,我也不知道这个现象会对不同人群产生什么样的影响。

怎么看待ML的负面/阴性结果?

G:机器学习很难从负面结果里获得价值,因为我们一般都不知道负面结果是怎样造成的。

得到负面结果,可能是想法从根本上就错了,也可能是因为一个很小的bug。不幸的算法,各有各的不幸。

想和ML老炮说什么?

G:我想跟他们说,关于某个想法的贡献应该怎样分配,学界需要一个更好的方式来处理争议。

现状是,那些自认没有获得应有的引用或者点名的人,得为自己维权

640?wx_fmt=jpeg

如果只是论文作者失误漏掉了,那还好说。但如果双方争执不下,场面就十分尴尬。

没有权威机构来裁决,协商又无果的情况下,大家只能回归“是胡萝卜还是大棒”的选择,可是大多数人也给不起胡萝卜。

一个资深教授,如果要向一个博士生要出处,压力就很大了。我受到的关注越多,也就要花越多的时间处理这种事。

如果某个会议或者期刊能生出一个部门,以第三方视角专门解决这样的争议,情况可能就会乐观很多。

想跟过去的自己,说什么?

G:快去用GPU挖矿啊。

640?wx_fmt=jpeg

采访结束了,重要的信息可能有很多,但我在意的是,为什么我碰不上系统bug给我个A的好事?

活动报名

640?wx_fmt=jpeg

加入社群

量子位AI社群16群开始招募啦,欢迎对AI感兴趣的同学,加小助手微信qbitbot6入群;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进群请加小助手微信号qbitbot6,并务必备注相应群的关键词~通过审核后我们将邀请进群。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

640?wx_fmt=jpeg

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态


猜你喜欢

转载自blog.csdn.net/yh0vlde8vg8ep9vge/article/details/80237300