深度学习知识点总结

前言

关于深度学习，看了许久，但是一直没有找个时间把相关知识点总结下来，今天特意督促自己写下所学内容，如有错误，还望指出。

关于深度学习主要介绍以下几点：激活函数、防止过拟合方法、加速训练的方法

激活函数

深度学习中的激活函数主要有sigmoid、tanh、ReLu、Maxout函数等。

1. Sigmoid
2. Tanh
3. ReLu
4. Maxout

防止过拟合

防止过拟合方法主要有增加训练数据、DropOut、Batch Normalization、L1/L2正则化。

1. 增加训练数据
2. DropOut
3. Batch Normalization
4. L1正则化
5. L2正则化

加速训练

加速训练的方法主要有动量、Nesterov 动量、自适应学习率（AdaGrad、RMSProp、Adam、学习率衰减）、Batch Normalization等。

1. 动量
2. Nesterov动量
3. 自适应学习率
4. Batch Normalization