论智能 第二章 神经网络
当我开始在加州大学博克利学习时，是1986年1月，我做的第一件事
是，收集与整理了智能理论和脑功能理论的历史资料。我读了数百份
论文，这些论文来自于 解剖学，生理学，哲学，语言学，计算机科学，
心理学。来自于各个领域的众多的专家们已经写出了很多的关于思维和
智能的文集。每个领域都有自己的杂志和他们自己的术语。我发现他们
的描述是不一致和不完备的。语言学家谈论智能时，使用语法和语义这
样的术语。对于他们而言，大脑和智能都是关于语言的内容。视觉科学
家提到的是2维，2.5维和3维的素描。对于他们来说，大脑和智能都是
关于视觉的模式的识别。计算机科学家谈论的是模式和框架，他们创造了
新的术语来表示知识。这些专家没有人谈论大脑的结构和他们的理论是如何
实现的。另一个方面，解剖学家和神经生理学家非常多的内容，这些内容
是大脑的结构和神经如何运作的，但是他们几乎避免了在大尺度上的理论的
尝试。试图弄清楚这些各种各样的方法和伴随着他们的巨量的实验数据，
这是很困难的和令人沮丧的。
此时，一个新的又精确的方法，这个方法是研究智能机器的，它进入我的视野。
神经网络诞生于1960年代，但是神经网络和AI运动是竞争者的关系，
它们在竞争研究基金会的资金和思想阵地。AI在那些日子里，像一个八百磅
重的大猩猩，它压制住了神经网络的研究。在过去的一些年里，神经网络的
研究者几乎都上了研究基金会的黑名单了。只有少数人继续研究神经网络，
在1980年人中期，神经网络的研究者终于等来了复兴的春天。很难准确地
知道为什么在神经网络领域的研究，会突然爆发了，但是不可否认的是人工
智能的持续性的失败是一个有贡献的因素。神经网络成为了人工智能的代替物。
神经网络在人工智能的方法上有真正的提升，因为它们的架构基于松散的
真实的神经系统。取代了编程的计算机，神经网络研究者被称为联结主义
者，他们的兴趣在于学习把一束神经聚集到一起后所展示出来的行为。大
脑由神经组成，所以，大脑是一个神经网络。这是一个事实。联结主义者
的期望是通过研究神经如何交互，使得智能的难以捉摸的属性变得清楚
明白，另一个期望是，通过复制神经群体的正确的连接的方法，把一些由
人工智能没有解决的问题解决了。一个神经网络不同于一台计算机的是，
它没有中央处理器，也不能在一个集中的内存区域存储信息。网络通过
它的连接性来提供知识和记忆，这正如现实中的大脑一样。
在表面上，神经网络似乎非常符合我的兴趣。但是，我很快地理解了
这个领域。这时，我形成了一个观点，就是为了理解大脑需要三个条件。
我的第一个标准是在大脑功能中的时间的包含。现实中的大脑在快速地
处理变化中的信息流。进出大脑的信息流没有什么是静态的。
第二个标准是反馈的重要性。神经解剖学家很久以前就知道了的事是
大脑充满了反馈的连接。例如，在神经元与一个底层的叫做丘脑的
结构的之间的回路，回向的连接超越了向前的连接。也就是说，对于每
个纤维向前把信息喂给神经元，然后有十个纤维把信息反向喂给感官。
反馈支配了通过神经元的大部分的连接。没有人理解这种反馈的精确的
角色，但是从公开发表的研究中，可以清楚的表明，反馈是存在大脑
各处的。 我认为这必然是很重要的。
第三个标准是大脑的任何一个模型和理论应该符合大脑的物理结构。
神经元不是一个简单的结构。正如我们在之后看到的那样，它被组织
成了一个有重复性的层次结构。任何一个神经网络都没有确认这个结构
一定不能像一个大脑一样的有用。