第一周：深度学习引言(Introduction to Deep Learning)

1.1 欢迎(Welcome)

第一门课的目标：学习如何建立神经网络，以及如何在数据上面训练他们

1.2 什么是神经网络？(What is a Neural Network)

举例：房价预测
在这里插入图片描述
面积x作为输入，通过一个节点，价格y作为输出，这个节点就是一个单独的神经元
修正激活函数ReLU：max(0,x)；

一个基础的神经网络：
推例：房价预测
在这里插入图片描述
把单个的神经元叠加在一起，就有了一个稍大一点的神经网络。
这里的神经网络四个输入的神经网络，特征为房屋大小，卧室数量，邮政编码和富裕程度。
给出这些输入的特征之后，神经网络的工作就是预测对应的价格。
这些圆圈被叫做隐藏单元圆圈。
在一个神经网络中，它们每个都从输入的四个特征获得自身输入，比如说，第一个结点代表家庭人口，而家庭人口仅仅取决于x1和x2特征，换句话说，在神经网络中，你决定在这个结点中想要得到什么，然后用所有的四个输入来计算想要得到的。因此，我们说输入层和中间层被紧密的连接起来了。
训练隐藏单元圆圈需要足够多的关于x和y的数据
神经网络非常擅长计算从x到y的精准映射函数。

1.3 神经网络的监督学习(Supervised Learning with Neural Networks)

神经网络创造的经济价值，本质上离不开监督学习
监督学习：将一组训练集（Training Set）送入网络，根据网络的实际输出与期望输出间的差别来调整连接权重。
在这里插入图片描述
一些常用网络：
1.对于图像应用，我们经常在神经网络上使用卷积（Convolutional Neural Network），通常缩写为CNN。
2.对于序列数据，经常使用RNN，一种递归神经网络（Recurrent Neural Network）例如音频(有一个时间组件，随着时间的推移，音频被播放出来)就是一维时间序列
3.对于更复杂的应用比如自动驾驶，你有一张图片，可能会显示更多的CNN卷积神经网络结构，其中的雷达信息是完全不同的，你可能会有一个更定制的，或者一些更复杂的混合的神经网络结构。

一个标准的神经网络：
在这里插入图片描述
一个卷积神经网络(CNN)

递归神经网络(RNN)非常适合这种一维序列，数据可能是一个时间组成部分。

结构化数据和非结构化数据：
结构化数据意味着数据的基本数据库。例如在房价预测中，你可能有一个数据库，有专门的几列数据告诉你卧室的大小和数量，这就是结构化数据。或预测用户是否会点击广告，你可能会得到关于用户的信息，比如年龄以及关于广告的一些信息，然后对你的预测分类标注，这就是结构化数据，意思是每个特征，比如说房屋大小卧室数量，或者是一个用户的年龄，都有一个很好的定义。
相反非结构化数据是指比如音频，原始音频或者你想要识别的图像或文本中的内容。这里的特征可能是图像中的像素值或文本中的单个单词。
在这里插入图片描述
从历史经验上看，处理非结构化数据是很难的，多亏了深度学习和神经网络，计算机现在能更好地解释非结构化数据，神经网络算法对于结构化和非结构化数据都有用处。

1.4 为什么神经网络会流行？(Why is Deep Learning taking off?)

过去十年的社会里，我们遇到的很多问题只有相对较少的数据量。如果你把一个传统机器学习算法的性能画出来，作为数据量的一个函数，你可能得到一个弯曲的线，就像图中这样，它的性能一开始在增加更多数据时会上升，但是一段变化后它的性能就会像一个高原一样。假设你的水平轴拉的很长很长，它们不知道如何处理规模巨大的数据。
在这里插入图片描述
数字化社会的来临后，现在的数据量都非常巨大，我们便收集到了大量的数据，远超过机器学习算法能够高效发挥它们优势的规模。
如果你想要获得较高的性能体现，要么训练一个更大的神经网络，要么投入更多的数据，这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练。
在这里插入图片描述
在这个小的训练集中，各种算法的优先级事实上定义的也不是很明确（small处），所以如果你没有大量的训练集，那效果会取决于你的特征工程能力，那将决定最终的性能。
许多算法方面的创新，一直是在尝试着使得神经网络运行的更快。
作为一个具体的例子，神经网络方面的一个巨大突破是从sigmoid函数转换到一个ReLU函数，这个函数我们在之前的课程里提到过。
在这里插入图片描述
我们通过改变算法，使得代码运行的更快，这也使得我们能够训练规模更大的神经网络，或者是多端口的网络。
Idea-Code-Experiment循环：训练你的神经网络的过程，很多时候是凭借直觉的，往往你对神经网络架构有了一个想法，于是你尝试写代码实现你的想法，然后让你运行一个试验环境来告诉你，你的神经网络效果有多好，通过参考这个结果再返回去修改你的神经网络里面的一些细节，然后你不断的重复上面的操作，当你的神经网络需要很长时间去训练，需要很长时间重复这一循环，在这里就有很大的区别，根据你的生产效率去构建更高效的神经网络。
在这里插入图片描述