在学习NLP之前还是要打好基础，第二部分就是神经网络基础。
知识点总结：
1.神经网络概要：
2. 神经网络表示：
第0层为输入层（input layer）、隐藏层（hidden layer）、输出层（output layer）组成。
3. 神经网络的输出计算：
4.三种常见激活函数:
sigmoid:一般只用在二分类的输出层，因为二分类输出结果对应着0,1恰好也是sigmoid的阈值之间。
。它相比sigmoid函数均值在0附近，有数据中心化的优点，但是两者的缺点是z值很大很小时候，w几乎为0，学习速率非常慢。
ReLu： f（x）= max(0, x)
- 优点：相较于sigmoid和tanh函数，ReLU对于随机梯度下降的收敛有巨大的加速作用（ Krizhevsky 等的论文指出有6倍之多）。据称这是由它的线性，非饱和的公式导致的。
- 优点：sigmoid和tanh神经元含有指数运算等耗费计算资源的操作，而ReLU可以简单地通过对一个矩阵进行阈值计算得到。
- 缺点：在训练的时候，ReLU单元比较脆弱并且可能“死掉”。举例来说，当一个很大的梯度流过ReLU的神经元的时候，可能会导致梯度更新到一种特别的状态，在这种状态下神经元将无法被其他任何数据点再次激活。如果这种情况发生，那么从此所以流过这个神经元的梯度将都变成0。也就是说，这个ReLU单元在训练中将不可逆转的死亡，因为这导致了数据多样化的丢失。例如，如果学习率设置得太高，可能会发现网络中40%的神经元都会死掉（在整个训练集中这些神经元都不会被激活）。通过合理设置学习率，这种情况的发生概率会降低。
Assignment：
