失业人员都能中ICLR, 2020的你有什么做不到的

我成为了一名独立研究者,我不推荐你也这样做。但如果你坚持要「作死」的话……你可能最终能中一个顶会 Spotlight paper。 -Andreas Madsen

一位名叫 Andreas Madsen 的小哥自北欧名校丹麦科技大学本科+硕士毕业之后(成绩是 top3%),却发现自己找不到一个研究工程师的工作。而在最近无业的这段时间里,他写的论文中了 ICLR 2020,还是 Spotlight......


2018年3月, Andreas Madsen以第一作者的身份在distill.pub 平台上发表了第一篇机器学习论文,介绍了两个准确度相似的模型在NLP上的显著交互可视性有很大不同。那时,他觉得凭借这篇论文以及机器学习的硕士学位就可以申请PhD、研究工程师、实习项目等了,于是就开始向谷歌、微软、Rakuten、ElementAI、英伟达、Hypefactors等公司投递简历,结果一个面试邀请都没收到,啥都没有。托关系,找朋友的,Andreas得到了这么一个回答:

「你得有一两篇顶会论文啊」
现在的顶级人工智能 PhD 项目需要有顶会论文才能申请了。我曾经在某大学待过,如果你连一篇 ACL,EMNLP,CVPR,ICCV,NeurIPS,ICML 论文都没有的话,你几乎就不可能成功申请到某大学了。-某top5大学回复

说发就发啊,那就发呗。于是乎, Madsen在19年4月全身心投入到了科研工作中,剑指NeurIPS和ICLR,。


如果失败的话,我就当个JavaScript程序员吧。-Andreas Madsen

没钱怎么整,挣!

Madsen的朋友向他推荐了一个项目。该项目不仅需要详细了解 Node.js 的内部构件,还要有统计学背景和网页可视化技术。由于Madsen对Node.js有长达六年的接触,因此获得了非常高的薪水,够他在丹麦这种高消费国家支撑3到4年的那种。


除此之外,Madsen被邀请开发IoT智能手表/胸牌的TensFlow部分。


没idea怎么办,有人有啊!

对于一般的学生来说,一个好的idea是发文章的第一步,而这个idea往往源自于导师。于是乎,Madsen找到了自己的合作伙伴- Alexander R Johansen,一位助理研究员,他告诉Madsen他的几名学生尝试复现 DeepMind 的论文「NALU」,但都失败了。所以,他问Madsen是否愿意对此进行研究,研究结果或许能够成为一篇 NeurIPS 论文。

由于Madsen的硕士学位论文和在 Distill 上发表的论文都是对其他人夸大其词或误导性的作品提出批评,然后对它们进行修正改善。并且,复现论文的难点在于优化,而该领域正是他所擅长的。就这样,两人一拍即合,开始了他们轰轰烈烈的事业。


几乎所有发表的论文都会对效果夸大其词,所以修正改善他人的论文内容是一种可行的研究策略。 -Andreas Madsen
没人安慰怎么搞,呃 ("▔□▔)


找不到解决方法、遭遇不公正的评审、得不出有用的结果、发现某个重要缺陷……甚至担心即便发表了也会因为课题过于小众而被淹没。焦虑与恐惧一直缠绕着Madsen。

  • 我通常会与 Alexander 开周会,讨论一下新的想法。虽然 Alexander 并没有 Ph.D. 学位,但他是非常杰出的批判性思考者。我并不认为必须和那些有很多一作发表经历,或者有多年论文指导经验的人交流。重要的是,我们需要和那些能质疑我们研究工作的人交流。不然的话,我们可能会变得懒惰,从而对那些论文中的错误视而不见。与他们讨论你的论文,这会给你更大的压力,从而避免找一些「捷径」。
  • 我会做多个子项目,如果把所有时间都分配给相同的工作,那么这样的风险太大。我们可以花些时间做那些有用的小项目。写个开源工具、复现个知名论文都非常有帮助。有时候,把视线从研究移开、放松一些也是非常有必要的。即使研究项目失败了,但至少完成了某些小项目。在我的经历中,有这些业余项目,其它研究者会更认同你,这对你是非常好的一种鼓励。

三天完成的业余项目示例,其它研究者会向你表示感谢,这是非常有价值的鼓励。
期间,他还去了日本旅了趟游。日本真是个治愈人心的好地方啊,好想去度假啊(小编心声)。
被NeurIPS 2019拒绝了

拿到 NeurIPS 2019. 审稿意见的我本人。——「Red Ink」绘画 byJorge Cham
NeurIPS 2019的审稿人更偏向于已经发布的成果,对这种带有批判性的论文持有质疑,更何况Madsen动的是Deepmind的奶酪。
提交ICLR 2020时,Madsen已经对文章补充了更多的证据和实验去支持表述的观点。他们还发了个推特,@了MALU的一作,获得了:Great Work!有了好的基准,我们才能继续提升(模型的性能)的回复。

在此次ICLR 2020的评审攻坚战中,Madsen又遇到了其在投稿NeurIPS时的评委,然而此次他/她给出的评论却是:the contributions presented in this paper are too incremental.

尽管此次ICLR 2020的投稿过程跌宕起伏,但Madsen的作品在最后关头入选了录取论文列表,还是以Spotlights的形式被展示,也算是皆大欢喜。
看到这里,小编想到了《肖申克的救赎》里的一句台词。Some birds aren't meant to be caged, that's all. Their feathers are just too bright.有些鸟注定是不会被关在笼子里的,因为它们的每一片羽毛都闪耀着自由的光辉。

发布了42 篇原创文章 · 获赞 2 · 访问量 5561

猜你喜欢

转载自blog.csdn.net/ConferenceEye/article/details/103821616
今日推荐