【人工智能】人工神经网络

神经元单元由多个输入xi ，i=1,2,…,n 和一个输出y 组成。中间状态由输入信号的权和表示，而输出为：
$y_j = a(\sum_{j=1}^m{w_{ji}x_j - θ_j})$
θj：偏置/阈值；

wji：连接权系数；

n：输入信号数目；

yj：神经元输出；

a()：输出变换函数/激励函数/特性函数

关于神经元的激励函数：

阶跃型函数：

神经网络基本结构

对于每个节点i，都存在一个状态变量xi、阈值，定义了一个激活函数θi；从节点i-j，存在一个连接权系数wij

前馈神经网络（前向神经网络）

具有递阶分层结构，从输入层至输出层的信号通过单向连接流通，神经元从一层连接至下一层，不存在同层神经元间的连接。

前馈神经网络的例子：

反向传播神经网络（BP）、径向基神经网络（ RBF ）、多层感知器（MLP）、学习矢量量化（LVQ）网络、小脑模型联接控制（MAC）网络

反馈神经网络（递归神经网络）

有些神经元的输出被反馈至同层或前层神经元。其输入数据决定反馈系统的初始状态，然后系统经过一系列的状态转移后逐渐收敛于平衡状态，即为反馈神经网络经过计算后的输出结果。

有些神经元的输出被反馈至同层或前层神经元。因此，信号能够从正向和反向流通。

代表例：Hopfield网络、Elmman网络、Jordan网络

神经网络学习算法

人工神经网络的学习过程就是对它进行训练的过程。根据环境的变化，对权值进行调整，改善系统的行为。

算法分为：指导式（有师）学习算法、非指导式（无师）学习算法、强化算法（有师学习的特例）

有师学习

能够根据期望的和实际的网络输出（对应于给定输入）间的差来调整神经元间连接的强度或权。

因此，有师学习需要有个老师或导师来提供期望或目标输出信号。

例子包括δ规则、广义δ规则或反向传播算法、LVQ算法等。

无师学习

不需要知道期望输出。

在训练过程中，只要向神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似特征把输入模式分组聚集。

例子包括Kohonen算法和 Carpenter-Grossberg自适应谐振理论（ＡＲＴ)

强化学习

不需要老师给出目标输出。

采用一个“评论员”来评价与给定输入相对应的神经网络输出的优度（质量因数）。

基于神经网络的知识表示

、

目标：

x1	x2	y
0	0	0
0	1	0
1	0	0
1	1	1

定义一个输入输出关系函数：
$\begin{cases} 0, a<\theta\\ 1, a≥\theta \end{cases}$
其中θ = 0.5；

根据网络定义，输出为
$y = f(x_1w_1+x_2w_2)$
通过实验得到了几组w1、w2的数据：

w1	w2
0.20	0.35
0.25	0.30
0.20	0.40
0.40	0.20

此网络能实现and功能；但是通过推导，二层网络结构不能实现异或（XOR）功能

基于神经网络的知识推理

基于神经网络的知识推理实质上是在一个已经训练成熟的网络基础上对未知样本进行反应或者判断。

通常将神经网络在训练完成后输入其训练样本以外的新数据时获得正确输出的能力定义为神经网络的泛化能力（推广能力）。

影响泛化能力的因素主要有：

训练样本的质量和数量
网络结构
问题本身的复杂程度

神经网络的训练次数也称为神经网络的学习时间。在一定范围内，训练次数的增加可以提高神经网络的泛化能力。

神经网络的训练过程中经常出现一种过拟合现象：在训练样本的误差逐渐减小并达到某个定值以后，往往会出现网络对训练样本以外的测试样本的误差反而开始增加的情况。

最佳的泛化能力往往出现在训练误差的全局最小点出现之前。

网络推理的大致过程：

把已知数据输入网络输入层的各个节点。
利用特性函数分别计算网络中各层的输出。计算中，前一层的输出作为后一层有关节点的输入，逐层进行计算，直至计算出输出层的输出值为止。
用阈值函数对输出层的输出进行判定，从而得到输出结果。

上述推理的特征：

同一层的处理单元（神经元）是完全并行的，但层间的信息传递是串行的。由于层中处理单元的数目要比网络的层数多得多，因此它是一种并行推理。
在网络推理中不会出现传统人工智能系统中推理的冲突问题。
网络推理只与输入及网络自身的参数有关，而这些参数又是通过使用学习算法对网络进行训练得到的，因此它是一种自适应推理。