首先深度学习之所以能够在现在获得大的突破，主要依靠于硬件技术的进步和大数据的发展。卷积神经网络需要的高并发，依赖于GPU的发展不断进步，甚至已经有了很多专用设备，如谷歌TPU，阿里和华为也都有最新针对AI算法的芯片。
高并发时可能导致梯度下降出问题，目前多采用异步梯度下降。
当模型过大时，通常可以通过模型压缩来减少内存和运算时间。（具体方法这里没提）
模型可以动态选择运算单元，如注意力模型。
计算机视觉
应用很广的一个领域，如无人驾驶中识别红绿灯等。这里主要介绍了预处理和数据集增强的一些方式：
预处理：
主要介绍三种方式：全局对比度归一化、局部对比度归一化和白化
语音识别
语音转文字的一种应用。传统方式主要通过HMM和GMM实现；深度学习发展后，可通过受限玻尔兹曼机可实现，后面章节才有详细介绍。
自然语言处理
机器学习很大的一个分支，为了解决词的高维和稀疏性，提出了以下方案：
- n-gram:将连续的n个单元作为一个整体。因为稀疏性，计算时需要添加平滑，或者大小n-gram相嵌（回退方法）
- word-embedding:词向量。word2vec
- 高维输出：每个词作为一个维度输出了。计算量较大，为克服计算量大的问题，提出了以下几个方法：
- 短列表：常见词组合组成列表
- 分层softmax：这里说结果并不好
- 重要采样：给权重
- 噪声对比估计和排名损失：
- 结合n-gram和神经网络
- 神经机器翻译：使用注意力机制对其数据片段，一次性读取整个句子，然后每次根据注意力聚焦不同的部分。
其他应用
推荐系统
之前多使用协同过滤，有冷启动问题，所以有基于内容的推荐系统。后面介绍了基于强化学习的推荐系统，貌似不常用啊。