自组织映射神经网络。自组织映射神经网络是如何工作的,它与k均值算法有何区别?怎样设计自组织映射神经网络并设定网络训练参数?

场景描述:

自组织映射神经网络是 无监督学习方法中一类重要方法,可以用作聚类,高维可视化,数据压缩,特征提取等多种用途。在深度学习神经网络大为流行的今天,谈及自组织映射神经网络依然是一件非常有意义的事情,这主要是由于自组织映射神经网络中融入了大量人脑神经元的信号处理机制,有着独特的结构特点。

自组织映射神经网络是如何工作的,它与k均值算法有何区别?

生物研究表明,在人脑的感知通道上,神经元组织是有序排列的;同时,大脑皮层会对外界特定时空信息的输入在特定区域产生兴奋,而且相类似的外界信息输入 产生对应兴奋的大脑皮层区域也连续映像的。

例如,生物视网膜中有许多特定的细胞对特定的图形比较敏感,当视网膜中有若干个接收单元同时受特定模式刺激时,就使大脑皮层中特定神经元开始兴奋,且输入模式接近时与之对应的兴奋神经元也接近。

在听觉通道上,神经元在结构排列上和频率的关系十分密切。对于某个频率,特定的神经元具有最大的响应,位置相邻的神经元具有相近的频率特征,而远离的神经元具有的频率特征差别也较大。

大脑皮层中神经元的这种响应特点不是先天安排好的,而是通过后天的学习自组织形成的。

在生物神经系统中,还存在着一种侧抑制现象,即一个神经细胞兴奋后,会对周围其他神经细胞产生抑制作用。这种抑制作用会使神经细胞之间出现竞争,其结果是某些获胜,而另一些失败。表现形式是获胜神经细胞兴奋,失败神经细胞抑制。自组织神经网络就是对上述生物神经系统功能的一种人工神经网络模拟。

自组织映射神经网络本质是一个两层的神经网络,包含输入层,和输出层(竞争层)。输入层模拟感知外界输入信息的视网膜,输出层模拟做出响应的大脑皮层。输出层中神经元的个数通常是聚类的个数,代表每个需要聚成的类。训练时采用竞争学习的方式,每个输入的样例在输出层中找到一个和他最匹配的节点,称为激活节点。紧接着用随机梯度下降法更新激活节点的参数,同时,和激活节点临近的点也根据他们距离激活节点的远近而适当的更新参数。这种竞争可以通过神经元之间的横向抑制链接(负反馈路径)来实现。自组织映射神经网络的输出层节点是有拓扑关系的,这个拓扑关系依据需求而定,如果想要一维的模型,那么隐藏节点可以是一维线阵,如果需要二维的拓扑关系,那么就形成一个二维平面阵。也有更高维的拓扑关系,比如三维栅格阵。

自组织映射神经网络的自组织学习过程可以归纳以下几个子过程。

初始化:

竞争:

合作:

适应:

迭代:

自组织映射神经网络与K均值算法的区别如下:

1.K均值算法需要事先定下类的个数,也就是K的值。而自组织映射神经网络则不用,隐藏层中的某个节点可以没有任何输入数据属于他,因此聚类结果的实际簇数可能会小于神经元的个数。而K均值算法受K值的设定的影响更大一些。

2.K均值算法为每个输入数据找到一个最相似的类后,只更新这个类的参数;自组织映射神经网络则会更新临近的节点。所以K均值算法受噪声的影响比较大,而自组织映射神经网络的准确性可能会比K均值算法低 (因为也更新了临近节点) 。

3.相比较而言,自组织映射的神经网络的可视化比较好,而且有优雅的拓扑关系图。 

怎样设计自组织映射神经网络并设定网络训练参数?

设定输出层神经元的数量

输出层神经元数量和训练集样本的类别数相关。若不清楚类别数,则尽可能多的设定较多的节点数,以便较好地映射样本的拓扑结构,如果分类过细在酌情减少输出节点。这样可能会带来少量从未更新过权值的死节点。但一般可通过重新初始化权值来解决/。

设计输出层节点的排列:

输出层节点排列成哪种形式取决于实际应用的需要,排列形式应尽量直观的反应出实际问题的物理意义。例如,对于一般的分类问题,一个输出节点能代表一个模式类,用一维线阵即结构简单又意义明确;对于颜色空间或者旅行路径类的问题,二维平面比较直观。

初始化权值

可以随机初始化,但尽量使权值的初始位置与输入样本的大概率分布区域充分重合,避免出现大量的初始死节点。一种简单易行的方法是从训练集中随机抽取M个输入样本作为初始权值。

设计拓扑领域

拓扑领域的设计原则是使领域不断缩小,这样输出平面上相似神经元对应的权向量之间既有区别又有相当的相似性,从而保证当获胜节点对某一类模式产生最大响应时,其领域节点也能产生较大响应。领域的形状可以是正方形,六边形或者菱形。优势领域的大小用领域的半径表示,通产凭借经验来选择。

设计学习率

学习率是一个递减的函数,可以结合拓扑领域的更新一起考虑,也可以分开考虑。在训练时,学习率可以选择较大的值 ,之后以较快的速度下降,这样有利于很快的捕捉到输入向量的大致结构,然后学习率在较小的值上缓降至0值,这样可以精细的调整权值使之符合输入控件的样本分布结构。

           

猜你喜欢

转载自blog.csdn.net/qq_29678299/article/details/88812064