Extreme Learning Machine for Multilayer Perceptron 部分译文

摘要:超限学习机(ELM)是一种新兴的基于普通的单隐层前馈神经网络的学习算法,其中隐藏层结点的参数是随机产生的,以此来计算输出层权重。然而,因其浅层网络结构,甚至当其拥有大量隐层结点时,ELM也无法高效的应用于自然信号的特征提取(如图像和音频等)。为解决此问题,本文提出了一个新的基于ELM的结构性学习框架应用与多层感知机。该结构可分为两个部分:①是自学习特征提取后跟有监督的特征分类,②它们由随机初始化的隐藏层权重连接起来。本文的创新点如下:

1)特征提取采用无监督的多层编码器实现,基于ELM的稀疏性自编码器则是通过L1正则化来产生,由此可得到比原始图像更加抽象和有用的特征表示。

2)通过探索ELM随机特征映射的优点,在最终决策之前结构性编码输出则是随机映射,这更利于得到更好的泛化能力和更快的学习速度。

3)与深度学习的贪心分层训练不同的是,提出结构的隐藏层使用前馈的方式进行训练。一旦前面的层建立起来,当前层的权重也就确定了不需要调整。因此,它比深度学习更加高效,多种数据集分类算法的大量实验表明本文提出的算法可以更好更快的收敛相比于目前存在的最先进的结构性学习方法。此外,在计算机视觉的多种应用进一步证明了提出的学习方案的通用性和能力。


猜你喜欢

转载自blog.csdn.net/qq_33690342/article/details/80590155