[Lecture 4] Neural Networks（神经网络）

课堂提问

• 在2层简单神经网络中，W1和W2有什么含义吗？
  
  答：W1依然可以看成是我们学习到的线性分类器中的各种各样的模板，而 $h$ 表示这些模板的得分，W2将这些模板得分组合起来形成新的复杂模板。
  例如上面这个例子，假设我们既有头朝左的马，又有头朝右的马，那么对于一匹头朝左的马，可能一个模板分高一个模板分低，然后取 $max$ 后保留其是左侧马的分数。
  注：这里的 $max(0,W_1X)$ 可能将取值较低的模板分数就略去了，也引入了非线性，就是图中所显示的 $h$。

1. 神经网络介绍

与线性函数 $f(W;X) = WX$ 不太一样，神经网络可以看成是由一组简单函数构成的（层次化堆叠）复杂 非线性 映射函数。例如下图中的简单线性函数，和2层，3层简单神经网络。

单个神经元类比

神经元中树突接收脉冲信号，然后细胞体进行处理，再通过轴突传给下一个神经元。这和我们计算图中单个函数门(gate)接收输入，计算并用激活函数激活类似，但是要远远复杂的多。

例如常见的激活函数如下：

神经元的向量化计算

上面讲到，一个 “神经单元” 接收很多输入，然后进行计算并输出，所以，一般我们将神经元的输入看成向量来进行计算。例如，下面示例的简单双隐层神经网络结构和其前向传播过程。

2. 官方笔记

• 05 Neural Networks I : Architecture
• 06 Neural Networks II : Data and Loss
• 07 Neural Networks III: Learning and Evaluation
• 08 Minimal Neural Networks Case Study