全部笔记的汇总贴：《深度学习》花书-读书笔记汇总贴
《深度学习》PDF免费下载：《深度学习》
一、大规模深度学习
- 快速的 CPU 实现
- GPU 实现：是为图形应用而开发的专用硬件组件。
- 大规模的分布式实现：数据并行、模型并行、异步随机梯度下降
- 模型压缩
- 动态结构
- 深度网络的专用硬件实现
二、计算机视觉
计算机视觉的应用广泛：从复现人类视觉能力（比如识别人脸）到创造全新的视觉能力。
- 数据预处理：对比度归一化（局部/全局）
- 数据集增强：通过增加训练集的额外副本来增加训练集的大小，进而改进分类器的泛化能力。
三、语音识别
将一段包括了自然语言发音的声学信号投影到对应说话人的词序列上。
HMM–GMM
四、自然语言处理
自然语言处理（Natural Language Processing）让计算机能够使用人类语言。
- n-gram：具有更高的模型容量
- 神经语言模型：克服维数灾难
- 高维输出：使用短列表、分层softmax、重要采样
- 结合n-gram和神经语言模型
- 神经机器翻译
- 历史展望
五、其他应用
- 推荐系统
- 知识表示、推理和回答
下一章传送门：花书读书笔记（十二）-线性因子模型