深度学习概述
o 受限玻尔兹曼机和深度信念网络
o Dropout
o 处理不平衡的技巧
o SMOTE：合成少数过采样技术
o 神经网络中对成本敏感的学习
深度学习概述
在2006年之前，训练深度监督前馈神经网络总是失败的，其主要原因都是导致过度拟合，即训练错误减少，而验证错误增加。
深度网络通常意味着具有多于1个隐藏层的人工神经网络。训练深层隐藏层需要更多的计算能力，具有更深的深度似乎更好，因为直觉神经元可以使用下面图层中的神经元完成的工作，从而导致数据的分布式表示。
Bengio 认为隐藏层中的神经元可被看作是其下面的层中的神经元所学到的特征检测器（feature detector）。这个结果处于作为一个神经元子集的更好泛化（generalization）中，而这个神经元子集可从输入空间中的特定区域的数据上进行学习。
而且，由于相同功能所需的计算单元越少，效率就越高，所以更深的架构可以更高效。分布式背后的核心思想是共享统计优势，将不同架构的组件重用于不同的目的。
深度神经架构是由多个利用非线性操作的层组成的，例如在带有许多隐藏层的神经网络中。数据集中常常存在各种变化的因素，例如数据各自的性质经常可能独立地变化。
深度学习算法可以获取解释数据中的统计变化，以及它们如何相互作用以生成我们观察到的数据类型。较低层次的抽象更直接地与特定的观察联系在一起，另一方面，更高层次的更抽象，因为他们与感知数据的联系更加偏远。
深度架构学习的重点是自动发现从低级特征到更高级别概念的抽象。算法可以在不需要手动定义必要抽象的情况下启用发现这些定义。
数据集中的训练样本的多样性必须至少与测试集中的一样多，否则算法就不能一概而论。深度学习方法旨在学习特征层次结构，将更低层次的特征组合成更高层次的抽象。
具有大量参数的深度神经网络是非常强大的机器学习系统。但是，过度拟合在深度网络中是一个严重的问题。过度拟合是指当验证错误开始增加而训练错误下降时。Dropout是解决这个问题的正则化技术之一，这将在后面讨论。
今天，深度学习技术取得成功的最重要因素之一是计算能力的提高。图形处理单元（GPU）和云计算对于将深度学习应用于许多问题至关重要。
云计算允许计算机集群和按需处理，通过并行训练神经网络来帮助减少计算时间。另一方面，GPU是用于高性能数学计算的专用芯片，加速了矩阵的计算。
在06-07这一年，三篇论文彻底改变了深度学习的学科。他们工作中的关键原则是每层都可以通过无监督学习进行预先训练，一次完成一层。最后，通过误差反向传播的监督训练微调所有层，使得这种通过无监督学习进行的初始化比随机初始化更好。
受限玻尔兹曼机和深度信念网络
其中有一种无监督算法是受限玻尔兹曼机（RBM），可用于预训练深层信念网络。RBM是波尔兹曼机的简化版本，它的设计灵感来自于统计力学，它可以模拟给定数据集的基本分布的基于能量的概率，从中可以得出条件分布。
玻尔兹曼机是随机处理可见单元和隐藏单元的双向连接网络。原始数据对应于'可见'神经元和样本到观察状态，而特征检测器对应'隐藏'神经元。在波尔兹曼机中，可见神经元为网络和其运行环境提供输入。训练过程中，可见神经元被钳制（设置成定义值，由训练数据确定）。另一方面，隐藏的神经元可以自由操作。
然而，玻尔兹曼机因为其连通性而非常难以训练。一个 RBM 限制了连通性从而使得学习变得简单。在组成二分图（bipartite graph）的单层中，隐藏单元没有连接。它的优势是隐藏单位可以独立更新，并且与给定的可见状态平行。
这些网络由确定隐藏/可见状态概率的能量函数控制。隐藏/可见单位的每个可能的连接结构（ joint configurations ）都有一个由权重和偏差决定的 Hopfield 能量。连接结构的能量由吉布斯采样优化，它可通过最小化 RBM 的最低能量函数学习参数