深度学习是机器学习和人工智能领域的最新趋势之一，为计算机视觉和机器学习带来了深刻的变革。新的深度学习正在不断诞生，甚至已经超越了最先进的机器学习技术。近年来，全世界在深度学习领域取得了许多重大突破。
“深度学习”的由来
“深度学习”（Deep Learning）一词最初于1986年被引入机器学习概念，2000年时又被用于人工神经网络。深度学习由多个层组成，以学习具有多个抽象层次的数据特征。深度学习允许计算机通过相对简单的概念来学习复杂的概念。
对于人工神经网络，深度学习（也叫分层学习）是指在多个计算阶段中精确地分配信用，以转换网络中的聚合激活。为了学习复杂的结构，深度架构被用于多个抽象层次，即非线性操作，例如人工神经网络具有许多隐藏层。总的来说，深度学习是机器学习的一个子领域，使用多层次的非线性信息处理和抽象，用于有监督或无监督的特征学习、表示、分类和模式识别。
如今，人工神经网络（ANN）已经取得了长足的进步，同时也带来了其他的深度模型。第一代人工神经网络由简单的感知器神经层组成，只能进行有限的简单计算。第二代使用反向传播，根据错误率更新神经元的权重。然后支持向量机（SVM）浮出水面，在一段时间内超越ANN。为了克服反向传播的局限性，人们提出了受限玻尔兹曼机（RBM），使学习更加容易。此时其他技术和神经网络也出现了，如前馈神经网络（FNN）、卷积神经网络（CNN）、循环神经网络（RNN）等，以及深层信念网络、自编码器等。从那时起，为实现各种用途，ANN在不同方面得到了改进。
深度学习方法
深度神经网络在有监督机器学习中取得了巨大的成功。此外，深度学习模型在无监督、混合和强化学习方面也非常成功。
1. 深度有监督学习
监督学习应用在当数据标记、分类器分类或数值预测的情况。LeCun等（2015）对监督学习方法以及深层结构的形成给出了一个精简的解释。Deng和Yu（2014）提到了许多用于监督和混合学习的深度网络，并做出解释，例如深度堆栈网络（DSN）及其变体。Schmidthuber（2014）的研究涵盖了所有神经网络，从早期神经网络到最近成功的卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆（LSTM）及其改进方法等。
2. 深度无监督学习
当输入数据没有标记时，可应用无监督学习方法从数据中提取特征并对其进行分类或标记。LeCun等（2015）预测了无监督学习在深度学习中的未来。Schmidthuber（2014）也描述了无监督学习的神经网络。Deng和Yu（2014）简要介绍了无监督学习的深度架构，并详细解释了深度自编码器。
3. 深度强化学习
强化学习使用奖惩系统预测学习模型的下一步。这主要用于游戏和机器人，解决日常的决策问题。Schmidthuber（2014）描述了强化学习中深度学习的进展，以及深度前馈神经网络和循环神经网络在RL中的应用。Li（2017）讨论了深度强化学习（DRL）的架构及其在各个领域的应用。Mnih等（2016）提出了一种利用异步梯度下降进行DNN优化的DRL框架。van Hasselt等（2015）提出了一种使用深度神经网络的DRL架构。
本文我们讨论了从机器学习和人工神经网络中衍生出的主要深度学习方法，下篇我们将着重讨论深度神经网络。
相关文章