全部笔记的汇总贴：《人工神经网络原理》-读书笔记汇总

一、人工神经网络的概念

人工神经网络是受生物大脑启发，基于模仿生物大脑的结构和功能，采用数学和物理方法进行研究而构成的一种信息处理系统，它是由许多非常简单的并行工作的处理单元按照某种方法相互连接，并依靠其状态对外部输入信息进行动态响应的计算机系统。它是对大脑的简单模拟，具有高速处理能力和一定的智能特点，其功能取决于网络的结构、连接强度以及各个单元的处理方式。

二、人工神经网络的发展历史

人工神经网络的发展经历了4个时期：1943年，M-P模型的提出标志着人工神经网络的兴起；1969年，《感知机》一书的出版，标志着人工神经网络的发展进入了萧条时期；1982年提出的Hopfield模型和1986年提出的误差反向传播模型则标志着人工神经网络进入了兴盛时期；1987年，首届国际人工神经网络学术会议召开后，人工神经网络的研究进入了高潮期。

三、人工神经网络的特点

人工神经网络是基于人类大脑的结构和功能建立起来的新型信息处理系统，它具有并行结构和并行处理能力，知识能够分布存储，具有良好的容错性，高度非线性和计算的非精确性，以及自学习、自组织和自适应特性。

特点的简单阐述

固有的并行结构和并行处理特性
人工神经网络的计算功能分布在多个处理单元上，在同一层内的处理单元同时并行操作。神经网络中的信息处理是在大量单元中并行而又分层进行的，不仅运算速度高，而且远远超过传统计算机的串行处理速度。补：并发：在同一时间段处理很多事情（吃了一半打电话，再吃饭）并行：同一时刻处理很多事情（既吃饭又打电话）关键是看能否同时。串行：顺序地处理数据。
知识的分布存储特性
一个神经网络可以存储多种信息，其中每个神经元的连接权中存储的是多种信息的一部分。当一个神经网络中要获得分布存储的知识必须采用类似于人类或动物的联想记忆法，即当一个神经网络获得一个输入激励时，它要在已经存储的知识中寻找与该输入匹配最好的知识作为解。
良好的容错性
当输入是一些模糊、变形等不完善的数据和信息时，人工神经网络能够通过联想恢复完整的记忆，从而实现对不完整输入信息的正确识别。因为是分布存储，当一些神经元损坏时，并不会对整个系统的性能产生重大影响。
高度非线性及计算的非精准性
人工神经网络是一种高度并行的非线性系统，其结构的并行性和知识的分布存储使其信息的存储与处理表现出了空间上分布，时间上并行的特性。神经网络能够处理连续的模拟信号以及不精准的、不完全的模糊信息，这使得神经网络给出的通常是满意解而非精准解。
自学习、自组织、自适应性
自适应性是一个系统能够改变自身的性能以适应环境变化的能力，通常包括自学习与自组织两方面的特性。自学习是指当外部环境发生改变时，经过一段时间的训练或感知，神经网络能够对给定输入产生期望的输出。
自组织是指神经网络通过训练可以自行调节连接权重，即调节神经元之间的突触连接，使其具有可塑性，以逐步构建适应于不同信息处理要求的神经网络。

四、人工神经网络的信息处理能力

存储能力和计算能力是现代计算机科学中的两个基本问题。

存储能力取决于不同的神经网络模型、神经网络的拓扑结构和网络连接权值的设计方法。

计算能力是指神经网络的输入端给定输入后，经过计算能够在输出端获取相应输出的能力。

五、人工神经网络的功能

人工神经网络是一种新型的智能信息处理系统，它从模拟人脑生物神经系统的结构入手，进而模拟人脑的功能。人工神经网络具有非线性映射，模式识别、分类与聚类，联想记忆，优化计算以及知识获取与表示等功能。

优化算法
是指在已知的约束条件下，寻找一组参数组合，使得由该组合确定的目标函数达到最小值（或最大值）。
知识获取与表示
神经网络的知识获取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特性、发现规律，并通过自组织过程构建网络，使其适合于表达所发现的规律。

六、人工神经网络的应用

信号处理
模式识别
系统辨识
神经控制器
智能检测
医学检测数据分析
生物活性研究
医疗专家系统
金融领域
汽车工程
军事工程
化学工程
水利工程

七、人工神经网络的主要研究方向

理论研究
理论研究的一个重要方面是对基础理论的研究，主要从神经生理学和认知科学的角度研究人类思维和智能机理，为认知信息处理过程的模型化奠定基础。
实现技术研究
从软件模拟和硬件实现两个方面来进行。
应用研究
探讨如何利用神经网络解决各个不同应用领域中的实际问题。

八、人工神经网络与人工智能

人工神经网络关注人脑的工作机理，采用自下而上的方法研究和实现智能；而人工智能则采用自上而下的方法，通过模拟人脑的功能来实现智能。
自学能力。人工神经网络的自学能力很强，一般用于学习所收集的数据越多，学习得就越完全、越精确。另一方面人工神经网络模型对不同的网络结构具有动态自组织能力（需要一种技术：动态自程序）
速度和实时处理能力。

在这里插入图片描述

九、人工神经网络与传统计算

人工神经网络技术虽然不能全面替代传统计算，但却能在某些方面与之互补。人工神经网络作为受人脑功能启发产生的计算模型，在形式上比传统的计算模型更接近人脑的构造，期望它具有更强的计算能力，以解决用传统计算方式难以解决的一些问题。