深度学习简介
1、深度学习面临的挑战
经典的机器学习算法对某些复杂问题的处理效果还远远未达到实用的标准
典型的是语音识别和图像识别
泛化性能差，存在严重的过拟合问题
瓶颈在于两个方面
人工特征
机器学习算法
2、人工特征的局限性
特征工程的局限性
通用性差
建模能力差
维数灾难-curse of dimensionality
| 特征 |
应用领域 |
特征的含义 |
| 颜色直方图 |
计算机视觉 |
描述图像颜色的概率分布 |
| Haar特征 |
计算机视觉 |
描述图像在水平和垂直方向的变化 |
| HOG特征 |
计算机视觉 |
描述图像的边缘朝向和强度分布 |
| Gabor特征 |
计算机视觉 |
描述图像各个方向和尺度的频谱分布 |
| MFCC特征 |
语音识别 |
描述声音信号的频率特征 |
| TF-IDF特征 |
自然语言处理 |
描述单词在文档中的概率分布 |
3、机器学习算法的局限性
机器学习算法的瓶颈
建模能力差
对于复杂的问题泛化性能差
4、为什么选择了神经网络
除神经网络和决策树之外，对于指定维数的输入向量，其他建模的规模都是确定的，无法人为控制模型规模
如果想通过加大模型的复杂度来拟合更加复杂的函数，神经网络是最有潜力的一种方法
万能逼近定理从理论上保证了多层神经网络的逼近能力
虽然决策树在理论上也能拟合任意的函数，但在高维空间出现过拟合
但是神经网络的层数多了之后，会出现梯度消失问题
5、深度神经网络训练的困难
6、深度神经网络的基本思路
自动学习有用的特征，去掉对人工特征的依赖
采用深层的神经网络建立复杂的模型
7、深度学习的诞生历程
需要解决多层网络的梯度消失问题
2006年，Hintion等人提出逐层预训练的策略
G.E.Hinton,et al.Reducing the Dimensionality of Data with Neural Networks,Science 313,505,2006
2012年,Hinton等人提出深层神经网络AlexNet
Alex Krizhevsky,llya Sutskever,Geoffrey E.Hnton.ImageNet Classification with Deep Convolutional Neural Networks.2012
先训练多个受限玻尔兹曼机，得到它们的权重值，然后以这些权重作为编码器各层权重的初始值，以它们的转置作为解码器各层权重的初始值，接下来用梯度下降算法训练自动编码器
8、深度学习得以发展的因素
算法的改进，新的激活函数如ReLU，正则化技术如dropout
日益增加的数据量
计算能力的进步
9、典型的网络结构
自动编码器-Auto-encoder
受限玻尔兹曼机-Restricted Boltzmann Machine
卷积神经网络-Convolutional Neural Network
循环神经网络-Recurrent Neural Network
生成对抗网络-Generative Adversarial Network
10、深度学习的发展现状
目前仍然处理高速发展期，各种新的方法层出不穷
在机器视觉、语音识别、自然语言处理的很多问题中处于优势地位
特别适合解决感知类问题
11、在机器视觉中的应用
通用目标检测
人脸检测
行人检测
图像分割
边缘检测
12、在语音识别中的应用
循环神经网络
LSTM
CTC-连接主义时序分类
13、在自然语言处理中的应用
循环神经网络
Seq2seq
中文分词
词性标注
命名实体识别
文本分类
自动问答
自动摘要
机器翻译
14、在推荐系统中的应用
基于内容的推荐
YouTube的推荐系统
15、深度强化学习
深度神经网络与强化学习相结合
用于表示动作价值函数-Q函数
用于表示策略函数
Atari游戏
AlphaGo
星际争霸
自动驾驶
机器人追空