第一门课：神经网络和深度学习，会包含四周的课程，将学习如何建立神经网络，包括深度神经网络，以及如何用数据训练它。
在这门课的结尾，将建立一个神经网络识别猫。
what is a neural network?
一张图解释什么是ReLU函数，就像房价预测的曲线是一样的：（同时这张图展示了什么是单个的神经元neuron）
影响房价的不同因素共同决定了housing price：（这时，输入x参数是大小，卧室数量，邮政编码，居住地富裕程度；输出y是价格；而中间的部分就是一个搭建出来的神经网络，这里的每个小圆圈都叫做神经网络的隐藏神经元。）
要注意的是：隐藏层的每个神经元和输入层是全连接的，就像：
由神经网络自己来决定隐藏层的每个神经元实际上和输入层是怎么连接的（真实情况可能和上面的手画图一样）。
Supervised Learning with Neural Networks
在房价预测和在线广告问题上，通常使用standard NN；在图像应用中，通常使用有卷积结构的CNN；在音频这种时序序列化数据中，常用循环结构的RNN；语言，也在序列化数据中有自己的时序，通常使用更复杂的RNN；自动驾驶，有图像内容，通常是更复杂的CNN。
Standard NN, CNN, RNN的示意图：
结构化和非结构化数据的说明：
Why is Deep Learning taking off?
在过去的几十年中，产生了大量的数据。普通机器学习对大数据的处理能力不足：
可以看到，这里的横坐标是amount of data，纵坐标是performance。
可以看出，想要好的performance，需要1.input layer的大量数据；2.神经网络的大量隐藏神经元及大量神经元间的大量连接。
同时也可以看出，在小的数据集上，算法的优劣很难说清（手动选择了好的特征，SVM可能性能优于NN）;而在大的数据集上，NN性能碾压了其他ML算法。
所以，深度学习的初期崛起，得益于数据量和计算规模，我们只需在CPU或GPU上训练一个非常大的神经网络，就能有很好的结果。
而近几年的很多算法创新，旨在让神经网络运行的更快。如sigmoid函数到ReLU函数。（激活函数的修改）
原因：在一些区间中，sigmoid函数斜率（梯度）接近0，模型梯度变得很慢，而在ReLU中正值的梯度都为1。
注：此系列的所有截图都来自coursera的《Deep Learning Specialization》课程