为什么说人工智能发展的里程碑LSTM

　　这篇文章是《硅谷钢铁侠》(马斯克传记)作者阿什利·万斯笔下彭博人物的一个特色。这一次，他的镜头对准了LSTM发明家于尔根·施密德胡伯。
　　于尔根·施密德胡伯可以说是人工智能研究领域的鲁德尼·丹泽菲尔德(美国喜剧演员，在20世纪80年代被称为“没有人尊重我”)，因为他总是认为他在人工智能领域的开创性研究没有得到重视。
　　55岁的Schmidhuber身材高挑，整洁，留着精心修剪过的胡椒和盐色山羊胡子。他喜欢从头到脚穿黑色或白色，穿尼赫鲁夹克，戴尼赫鲁帽。
　　他情绪化的慕尼黑口音，加上高昂的停顿和语调变化，让人想起昆汀的电影《希魔撞正杀人狂》中克里斯托弗·沃尔兹扮演的兰达上校。你会不由自主地注意到他语言中诗意和严谨的结合，因为它总是让人们感觉到一些重要和未知的东西正在到来。
　　其他科技明星都有耀眼的光环。他们作为导师受到尊重，作为专家受到大公司的竞争，或者作为时代的先驱被邀请参加各种会议。
　　另一方面，施密德胡伯不在主流学术界，公众也不知道。部分原因是他住在阿尔卑斯山深处的瑞士小镇卢加诺。这个地方很远，但更大的原因是他的同事不太喜欢他。
　　在人工智能世界的一些谣言中，施密德胡伯被描述为一个极端自私和狡猾的骗子，“他的存在是痛苦的来源”。
　　此外，施密德胡伯经常在学术期刊和大型会议上斥责其他研究人员，打断其他人的发言，声称他们借用甚至窃取了他的观点。这些行为已经成为其他研究人员的素材，他们无意嘲笑甚至冒犯他人。甚至有一句谚语“他被施密德胡伯抓住了”(施密德胡伯在这里是动词)。
　　在大多数情况下，施密德胡伯是对的。但是他越想被承认，就越少有人认真对待他。人工智能圈的许多人已经决定忽略施密德胡伯的存在，并希望他远离它。
　　“小团队可以创造AGI”
　　“从童年开始，我就意识到一个人能做的最伟大的事情就是创造出比人类学得更好的机器。物理学是一切事物的基础，因为它揭示了世界的本质及其运作方式，但有一件事你可以做，那就是创造一个物理学家。”——Schmidhuber科技界的许多丹尼尔都致力于通用人工智能(AGI)的发展。与现在许多领先的人工智能软件不同，AGI不需要真正的培训者来告诉它如何将英语翻译成中文或者如何在x光下识别癌细胞。
　　从理论上讲，AGI在某种程度上可以独立于其创造者解决复杂的新问题，这充分表明人类还不如机器时代的到来。
　　如果人类真的能发明AGI，我们可能会认为最初的突破将在加州硅谷、北京或莫斯科。因为这三个城市都接近或拥有世界级的人工智能研究型大学，而且它们还为AGI竞赛投资了数十亿美元的大公司。
　　然而，还有另一种可能性。AGI的突破很可能发生在这座城市，这座田园诗般的瑞士小镇卢加诺——Schmidhuber位于意大利边境附近的山区。小镇上的施密德胡伯有着多重身份:教授、研究员和一家名为Nnaisense的人工智能公司的创始人，该公司拥有25名员工(公司名称意味着人工智能的复兴)。
　　施密德胡伯是一个先驱。几十年来，施密德胡伯和其他几位人工智能专家一直在寻找实现AGI的方法，但直到六年前，他们才开始拥有性能足够好、数据足够多的计算机来进行理论实验。
　　施密德胡伯绝对确定他的命运是真正理解人类的未来将走向何方。因此，尽管谷歌、百度和亚马逊已经拥有数百亿美元和数千名员工，他说，“事实上，像我们这样的小团队可以创造AGI，我们已经找到了一些基本的拼图。”
　　瑞士小城市的艾行宫
　　施密德胡伯的AGI梦始于德国。他出生在一个中产阶级家庭。他的父母是建筑师和教师。在他成长的过程中，他崇拜爱因斯坦，并深入研究科学。
　　他的弟弟克里斯托夫仍然记得当一家人开车穿过阿尔卑斯山时，于尔根在后座说话的那一次:
　　“他告诉我们，人类可以创造出比我们所有人都聪明的智能机器人。人类可以一个原子一个原子地制造大脑，并用铜线连接它们，而不是缓慢的神经传递。我下意识地反驳他说，人工大脑不可能模仿人类的情感和自由意志。但最终，我意识到他是对的。”
　　后来，施密德胡伯获得了慕尼黑工业大学的计算机科学博士学位，发表了他最早的关于人工智能和神经网络的论文，主要描述了如何使用软件和硬件来模拟人脑中的神经连接结构。以前，他只花了4年时间就完成了学士和硕士学位，而其他人一般要花6年时间。他在简历中还特别提到，他“拒绝了加州理工学院的博士后职位”。
　　施密休伯还感谢意大利酒类进口商安杰洛·戴尔·穆勒，感谢他在卢加诺湖和周围美丽的山峰之间逗留了23年。
　　Dalle Molle用百合酿造了一种受欢迎的餐前酒，赚了很多钱。他还梦想建立一个以智能机器为劳动力的天堂，因此在1988年，他捐赠了数百亿美元建立了卢加诺·戴尔·穆勒人工智能研究所，也称为IDSIA。
　　Schmidhuber每年在卢加诺中心的提契诺大学(USI)教授一门课程，并在郊区的IDSIA实验室工作。
　　IDSIA实验室拥挤在一个加油站、一条高速公路和山上的一个农场之间，马、驴和羊不停地叫着。2014年，施密德胡伯和他的前四名学生在离该大学几个街区的地方建立了Nnaisense，希望进行纯学术研究，同时实现制造业、卫生和金融领域的商业合作。
　　LSTM，人工智能发展的里程碑
　　像他更受欢迎的人工智能同事一样，施密德胡贝尔一生的大部分时间都致力于计算机科学的前沿研究。他坚信机器意识最有可能出现在神经网络中。
　　这个想法在20世纪50年代非常流行，但是由于技术上的限制，直到21世纪这个想法才被复兴。
　　自21世纪以来，大量可用于训练神经网络的数据集在互联网上诞生，由最新电子游戏驱动的快速发展的图像芯片也非常适合处理这些数据。Schmidhuber和他的同事坚持认为他们的算法比传统的编程方法更能解决问题。
　　到2012年，神经网络成功地出现在图像识别和语音识别领域，并在其他领域显示出巨大的实力。今天，人工智能驱动的软件充分发挥了它们的优势，并且存在于我们办公室、家里和口袋里的智能手机中(别忘了Siri和Alexa)。谷歌、亚马逊、脸谱、百度和微软都把他们的未来押在人工智能的进一步发展上。
　　过去几乎不可能阅读所有人工智能研究论文，但事实上，在过去的几十年里，只有少数论文值得阅读和需要阅读。
　　在这一领域奠定基础的第一篇文章需要追溯到1986年。杰弗里·辛顿提出了一种前馈算法，这是一种根据输入数据的重要性对其进行分类的精确神经网络。1989年，yannlekun写了另一部描述卷积神经网络的开创性著作。这些发现突破了计算机无法解决的问题，例如从照片中找到一只猫。
　　第三个突破发生在1997年，施密德胡贝尔发明了长时和短时记忆网络(LSTM)。"你可以用五行代码写它."
　　神经网络需要数百万次计算，而LSTM的代码旨在找到有趣的相关性:在数据分析中添加时间文本内容，记住之前发生的事情，然后将其应用于神经网络，观察与神经网络中接下来发生的事情的联系，然后得出结论。
　　这种精巧而复杂的设计使人工智能能够自我发展，自己得出结论，发展成一个更大的系统，在学习大量文本的基础上成为现实，实现了对语言细微差异的自我学习。
　　施密德胡伯将类似的人工智能训练比作人脑的筛选模式，即长期记忆会记住重要的时刻，而常规时刻会消失。
　　" LSTM可以学会把重要的事情放在记忆中，然后忽略不重要的事情。"他说。
　　今天，LSTM可以在许多重要领域表现出色，如语音识别和语言翻译。它还包括图片描述，也就是说，当你看到一幅图像时，你可以写下一段来解释你所看到的。
　　所有这些无疑将LSTM带入了人工智能最成功的商业应用。
　　自2015年以来，谷歌开始使用LSTM进行语音识别，这使得谷歌的语音性能提高了50%。
　　施密德胡伯在各方面都超越了他的时代。
　　每个人都在使用LSTM，但他不被承认
　　Nips(中性信息处理系统的缩写)是世界上最权威的人工智能会议。它始于1987年，是数百名铁杆粉丝的非正式聚会。几年后，参与者人数从1000人增加到6000多人。NIPS是世界超级人工智能明星展示他们最新和最重要的发现的地方，也是他们最容易受到施密德休伯攻击的地方。
　　在2016年巴塞罗那举行的国家情报保护系统会议上，一位名叫伊恩·古德费勒的后起之秀在他的里程碑式的论文《反网络一代》上发表了两个小时的演讲。谷歌的科研人员率先提出了一种方法，通过网络之间的相互对抗来加速神经网络的求解。
　　伊恩·古德菲勒留着奇怪的发型，戴着眼镜。演讲开始前，当他被介绍为“学术界最有创造力和影响力的研究人员之一”时，他低着头，双手紧握站在那里。在那之后，他走到讲台后面开始他的演讲，在受到很多赞扬后，他的脸颊仍然泛着一点红色。在接下来的一个小时里，一切都很顺利，伊恩·古德菲勒不停地翻着装满各种方程和人工智能技术的幻灯片。但是当他谈到噪声对比评估的话题时，一个熟悉的声音说，“我能问你一个问题吗？”
　　“你在PPT做得很好，”施密德胡伯首先说。后来，施密德胡贝尔花了近三分钟讲述了自1992年以来对抗性神经网络的历史，特别指出了他的研究和古德费勒之间的联系。最后，他问道，“我想知道你对这些现存的对抗性神经网络的异同有何看法？”
如果您有互联网问题，也可以咨询我，谢谢！如果你也想一起学习人工智能，欢迎留言交流。