在神经网络中，一个神经元有多个输入和一个输出，每个神经元的输入既可以是其他神经元的输出，也可以是整个神经网络的输入。
神经网络不同的结构指的就是不同ing神经元之间不同的连接结构。
如图所示，一个最简单的神经元结构的输出就是所有输入的加权和，不同输入的权重就是神经网络的参数。
神经网络的优化过程就是优化神经元中参数的取值的过程
全连接神经网络：全连接指的是相邻两层间的任意两个节点都有连接。
计算神经网络的前向传播结果需要三部分的信息：
1. 神经网络的输入，即是从实体中提取的特征向量。如上图中的x1, x2
2. 神经网络的连接结构。
3. 每个神经元的参数。
如上图即为上上图中前向传播的过程
上图的前向传播算法可以写成矩阵相乘的形式
在tensorflow中可以使用tf.matmul()来实现前向传播算法。