资料来源：百度技术学院视频：
http://bit.baidu.com/course/detail/id/137/column/117.html
声明：博主只是将资料中的视频整理为图片，在某些地方稍作编辑，为了方便查阅而已。本文绝大部分的智力产出都来源于视频资料。推荐看视频资料以获得更多内容。
MNIST手写数字识别是深度学习领域的“hello world“程序
模型概览:
其中f就是激活函数。
第一类激活函数：softmax多分类。
第一类激活函数的应用：
第二类激活函数：
因为softmax回归模型有一些缺点所以我们引入第二类激活函数，那么softmax有哪些缺点呢？因为softmax只采用了最简单的神经网络，即只有输入层和输出层，因此其拟合能力有限，所以我们为了更好的效果，要在中间加上隐藏层 。我们在隐藏层的每一个神经元上都增加激活函数，这一类激活函数就是第二类激活函数，如Sigmoid,Tanh,Relu.其实，Tanh是Sigmoid的规模变换，只需要把Sigmod扩大两倍再左移一个单位即是Tanh.如下图：
最近几年，在图像分类上，基本采用Relu激活函数：
接下来展示第二类模型：多层感知器模型
接下来展示深度学习的积木三：卷积
深度学习积木四：池化
接下来，展示神经网络的搭建：
三种神经网络的比较：
softmax回归模型和多层感知器模型，这两者都是典型的全连接神经网络模型，他们将图像的位置展开为一维向量输入网络，从而忽略了图像的位置以及结构信息。而卷积神经网络利用图像的卷积和池化能够更好地利用图片的结构信息，同时卷积神经网络通过尽可能去掉不必要的参数来达到更好的效果。
关于LeNet-5:
