算法工程师修仙之路：吴恩达深度学习（一）

神经网络和深度学习

深度学习概论

---

欢迎

• 深度学习改变了传统互联网业务，例如如网络搜索和广告。但是深度学习同时也使得许
  多新产品和企业以很多方式帮助人们，从获得更好的健康关注。

• 深度学习做的非常好的一个方面就是读取 X 光图像，到生活中的个性化教育，到精准化农业，甚至到驾驶汽车以及其它一些方面。

• 事实证明，构建机器学习系统的策略改变了深度学习的错误。举个例子：你分割数据的方式，分割成训练集、比较集或改变的验证集，以及测试集合，改变了深度学习的错误。

什么是神经网络？

• 我们常常用深度学习这个术语来指训练神经网络的过程，有时它指的是特别大规模的神经网络训练。

• 假设你有一个数据集，它包含了六栋房子的信息。

  • 所以，你知道房屋的面积是多少平方英尺或者平方米，并且知道房屋价格。
  • 这时，你想要拟合一个根据房屋面积预测房价的函数。
  • 如果你对线性回归很熟悉，用这些数据拟合一条直线：
    
  • 我们知道价格永远不会是负数的，因此，为了替代一条可能会让价格为负的直线，我们把直线弯曲一点，让它最终在零结束。
  • 这条粗的蓝线最终就是你的函数，用于根据房屋面积预测价格。
  • 有部分是零，而直线的部分拟合的很好。
  • 你也许认为这个函数只拟合房屋价格。
  • 作为一个神经网络，这几乎可能是最简单的神经网络。
  • 我们把房屋的面积作为神经网络的输入（我们称之为 $x$ ），通过一个节点（一个小圆圈），最终输出了价格（我们用 $y$ 表示），其实这个小圆圈就是一个单独的神经元。
  • 接着你的网络实现了左边这个函数的功能。从趋近于零开始，然后变成一条直线，这个函数被称作 ReLU 激活函数，它的全称是 Rectified Linear Unit。
  • rectify（修正）可以理解成 $max(0, x)$，这也是你得到一个这种形状的函数的原因。
  • 让我们来看一个例子，我们不仅仅用房屋的面积来预测它的价格，现在你有了一些有关房屋的其它特征，比如卧室的数量，或许有一个很重要的因素，一家人的数量也会影响房屋价格：
    
    • 你可能知道邮政编码或许能作为一个特征，告诉你步行化程度。比如这附近是不是高度步行化，你是否能步行去杂货店或者是学校，以及你是否需要驾驶汽车。有些人喜欢居住在以步行为主的区域，另外根据邮政编码还和富裕程度相关（在美国是这样的），但在其它国家也可能体现出附近学校的水平有多好。
    • 在图上每一个画的小圆圈都可以是 ReLU 的一部分，也就是指修正线性单元，或者其它稍微非线性的函数。基于房屋面积和卧室数量，可以估算家庭人口，基于邮编，可以估测步行化程度或者学校的质量。最后你可能会这样想，这些决定人们乐意花费多少钱。
  • 在这个情景里，家庭人口、步行化程度以及学校的质量都能帮助你预测房屋的价格。以此为例， $x$ 是所有的这四个输入， $y$ 是你尝试预测的价格，把这些单个的神经元叠加在一起，我们就有了一个稍微大一点的神经网络：
    
  • 神经网络的一部分神奇之处在于，当你实现它之后，你要做的只是输入 $x$，就能得到输出 $y$。
    • 因为它可以自己计算你训练集中样本的数目以及所有的中间过程。
    • 所以，你实际上要做的就是：这里有四个输入的神经网络，这输入的特征可能是房屋的大小、卧室的数量、邮政编码和区域的富裕程度。
    • 给出这些输入的特征之后，神经网络的工作就是预测对应的价格。
    • 同时也注意到这些被叫做隐藏单元圆圈，在一个神经网络中，它们每个都从输入的四个特征获得自身输入，比如说，第一个结点代表家庭人口，而家庭人口仅仅取决于 $x_1$ 和 $x_2$ 特征，换句话说，在神经网络中，你决定在这个结点中想要得到什么，然后用所有的四个输入来计算想要得到的。因此，我们说输入层和中间层被紧密的连接起来了。