1.3 用神经网络进行深度学习
重点信息：
1、对于图像应用，经常在神经网络上使用卷积(Convolutional Neural Network)，通常缩写为 CNN 来进行学习；
2、对于序列数据，例如音频，经常使用 RNN，一种递归神经网络(Recurrent Neural Network) ，语言，英语和汉语字母表或单词都是逐个出现的，所以语言也是最自然 的序列数据，因此更复杂的 RNNs 版本经常用于这些应用 ；
标准神经网络SNN和卷积神经网络CNN结构图
1.4为什么深度学习会兴起
重要信息：
神经网络方面的一个巨大突破是从 sigmoid 函数转换到一个 ReLU 函数
在左图中sigmoid函数的梯度会接近零，所以学习的速度会变得非常缓慢，因为当你实现梯度下降以及梯度接近零的时候，参数会更新的很慢， 所以学习的速率也会变的很慢，而通过改变这个被叫做激活函数的东西，神经网络换用这一个函数，叫做 ReLU 的函数(修正线性单元)，ReLU 它的梯度对于所有输入的负值都是零， 因此梯度更加不会趋向逐渐减少到零。而这里的梯度，这条线的斜率在这左边是零，仅仅通 过将 Sigmod 函数转换成 ReLU 函数，便能够使得一个叫做梯度下降(gradient descent)的算 法运行的更快 。