观看吴恩达课程的一些笔记。
深度学习概论
1、结构化数据与非结构化数据
结构化数据是指基本数据库，专门的几列数据有不同属性的数值。
非结构化数据，是指音频、图像、文本内容等等。
2、不同神经网络的应用场合
图像：更多的使用卷积神经网络（CNN）
序列数据：更多的使用递归神经网络（RNN） 这里的序列数据比如音频，有一个时间组件。比如语言，语言的单词或者字母都是逐个出现的，属于序列数据。
3、为什么深度学习会兴起
规模推动着深度学习的进步，这里的规模指两方面，一是神经网络的规模在变大，二是数据的规模在变大。
数据较少时，传统机器学习算法和深度学习算法的效果差不多，但是数据越大，深度学习的效果会越好，并且，神经网络的模型也越大.。
算法的创新也在推动着深度学习的发展，比如激活函数从sigmoid函数到relu函数。
sigmoid函数的缺点是在使用梯度下降算法的时候，在两端梯度接近于0，参数更新慢，学习速度慢。而relu函数不存在这样的问题，能让梯度下降算法运行的更快。