week4-2.Neural Network
一、Model Representation I
在神经网络中，常常把Sigmoid/逻辑函数叫做激励函数（activation function），而把参数（parameter）theta叫做权重（weights）。
有时候可以把x0（bias unit）添加到神经网络里去，有时候不添加。
输入层：input layer；隐藏层：hidden layer；输出层：output layer。
a_i(j)表示第j层的第i个神经元。
theta(j)表示从第j层到第j+1层的权重矩阵。
权重矩阵theta(j)的维度是s_(j+1)*(s_j+1)。s_(j+1)是第j+1层的节点数，(s_j+1)是第j层的节点数+1.所以图中theta(1)的维度是3*4（从图中a(2)的三个表达式也能看出来：三行四列），theta(2)的维度是1*4.
二、Model Representation II
z_i(j)是对第j-1层的神经元的加权线性组合，这个线性组合作为计算第j层第i个元素的输入。
这个线性组合z(j)可以向量化为theta(j-1)*X.
上图中的a(2)是一个三维向量，z(2)也是三维向量，g函数（激励函数）作用于z(2)中的每一个元素上。
为了表示偏置，需要加上a_0(1)=1,a_0(2)=1,这样a(1)、a(2)就变成了四维向量。
上述方法称为前向传播（forward propagation）
每一层可以看做对上一层做逻辑回归。