Geoffrey E. Hinton(欣顿)教授

欣顿教授,被尊称为“神经网络之父”,正是他“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术1947年,Geoffrey (Geoff) Everest Hinton 出生于英国温布尔登,Geoffrey Hinton的中间名是“Everest”,这是他曾曾祖父的叔叔的名字,他是一位地理学家,珠穆朗玛峰这座山的名字就是根据这位地理学家取的。他的曾祖父的岳父是大名鼎鼎的乔治·布尔(George Boole),是符号逻辑领域的先驱,“布尔代数”就是以他的姓命名。

欣顿很早就开始思考人的大脑。16岁时一位同学给他介绍关于记忆的理论:大脑对于事物和概念的记忆,不是存储在某个单一的地点,而是像全息照片一样,分布式存储于一个巨大神经元网络里。全息照片、分布式、神经元网络,这些概念深深启发了他,让他对神经网络产生了浓厚兴趣。1970年,他剑桥大学心理学专业本科毕业。1978年,取得爱丁堡大学AI专业博士学位,这所大学的AI实验室,是世界上最早建立的四个AI研究基地之一。博士毕业后,他在卡内基梅隆大学等多所欧美著名高校游学和研究,最后到加拿大多伦多大学任教。无论他走到哪里,他的研究方向始终聚焦人工神经网络。他和在他门下做过博士后的纽约大学计算机系教授雅恩·乐昆(Yann LeCun,即杨立昆)、蒙特利尔大学教授约书亚·本希奥(Yoshua Bengio) ,共同成为深度学习的先驱人物。

人工神经网络(ANN),简称神经网络,是AI的重要研究领域。AI研究领域有两大学派,一派是符号学派,被称为符号主义; 另一派是联结学派,也被称为联结主义。两大学派都从人脑得到启示,开始AI研究。符号学派从人脑的推理功能出发,认为要模拟人脑的逻辑推理思维,就要把相关的信息抽象为符号,然后进行符号运算,从而实现推理功能。联结学派则从人脑的组织出发,进行机器模拟。

神经网络概念实际上先于AI,在20世纪40年代就出现了。AI学科的创始人之一的马文·明斯基1951年就研制出基于神经网络的学习机。1957年康内尔大学心理学教授弗兰克·罗森布拉特(Frank Rosenblatt)提出的“感知器”(Perceptron),是第一次用算法来精确定义神经网络和第一个具有自组织自学习能力的数学模型,成为后来许多神经网络的基础。但是,那个时代的神经网络系统根本不可能实用,马文·明斯基自己也对感知机提出严厉批评。人工神经网络的研究,很快在AI的第一次寒冬中进入低潮。

欣顿博士毕业不久,AI刚好迎来第二次高潮。因为那个时代符号学派占了上风,他并没有感到好时光到来。而到了AI的第二次寒冬,所有的AI项目却都受到重创,神经网络也如此。人工神经网络想法非常好,研究成果也大量出现。但随着对人脑研究的深入,人们发现,人脑的确是宇宙中最复杂的,模仿人脑的人工神经网络系统,谈何容易。

一个人类的大脑保守估计有1000亿个神经元。每一个神经元有无数突触与其他神经元相连,估计突触的数量在100万亿到1000万亿之间。谷歌大脑是最著名的人工神经网络系统,即使在今天,目标也不过是达到大脑某一部分的功能。

由于人工神经网络的高度复杂性,这一研究方向一度被认为是学术死路。在AI第二次进入低谷时,很多同行开始转去研究别的领域,但是欣顿等人仍然在这里坚守,他因而被视为不可理喻的怪人。尽管欣顿在人工神经网络领域硕果累累,并在1998年被选为英国皇家学会院士,还获得了很多其他荣誉,但仍不能扭转人们的偏见。欣顿不为所动,仍然坚持自己的神经网络研究方向。

2006728日,欣顿和学生题为《用神经网络降低数据维数》的论文在美国权威的《科学》杂志发表,这篇论文被认为是深度学习领域开创性论文。论文中介绍了神经网络的一些新思想和新方法,引起AI和人工神经网络界的关注。而他们和经费支持者CIFAR一起,开始把新思想和新方法,用20年前就出现过但没引起重视的一个术语“深度学习”(Deep Learning)来描述和包装。深度学习开始登场,渐渐地成为AI和神经网络最热门的研究方向,在有些场合,深度学习甚至成为神经网络的代名词。

2012ImageNet图像识别竞赛上,欣顿的两位学生组成多伦多大学小组,竞赛中采用深度学习赢得了竞赛的图像分类比赛冠军,不仅识别出猴子,而且区分出蜘蛛猴和吼猴,以及各种各样不同品种的猫。

一次比赛的冠军也许并不重要,重要的是欣顿小组用了与其他参赛者完全不同的方法,得到颠覆性的结果。竞赛中,他们采用深度学习的识别结果,准确率超过第二名东京大学10%以上,而第二到第四名都采用传统计算机图像识别方法进行分类,他们之间准确率的差别不超过1%。也就是说,采用深度学习,把图像识别的准确率一下子提高了一个数量级。201210月,在意大利佛罗伦萨的研讨会上,竞赛组织者李飞飞宣布了这一压倒性的结果,在计算机视觉领域产生了极大的震动,并迅速波及到整个AI界和产业界。

欣顿教授曾在谷歌公司有一段颇有戏剧性的故事。谷歌大脑(Google Brain)负责人杰夫·迪恩邀请欣顿到谷歌工作,他自己也愿意到谷歌短期工作三个月。可是,怎么进入谷歌,他们遇到了麻烦。谷歌有一些古怪的规定,让短期工作的欣顿必须经过实习生培训。这样,六十多岁的他,出现在年轻实习生队伍里。2012年的一天,谷歌公司的实习生培训班里,来了一位头发花白的奇怪老人。在这群年轻实习生中,他显得非常特别。直到有一天,有人在餐厅午餐时发现老人,立刻走过来热情地说,“欣顿教授,我选修了你的课。你在这里做什么?” 实习生们大为惊讶,原来天天和他们坐在一起的这位老实习生,是 “深度学习教父”、加拿大多伦多大学计算机系教授杰夫·欣顿(Geoffrey Hinton)。

此外,欣顿花费了数十年时间来考虑胶囊理论。2017年,欣顿和他的团队发表了两篇论文,介绍了一种基于胶囊理论的全新型神经网络。团队还发布了一个算法,称为胶囊之间的动态路由,允许训练这样一个网络。

猜你喜欢

转载自blog.csdn.net/eidolon_foot/article/details/80301819