深度学习（五）：神经网络

对于无法使用线性模型分类的数据集，就需要引入非线性模型来处理，也就是构建神经网络（多层感知器）。对现有的线性模型进行线性组合，可以得到更复杂的新模型，也就是两条直线间的曲线。

在数学方法上该如何实现呢？每个线性模型都占据了整个概率空间，将两个线性模型中某个点是蓝色点的概率简单相加实现两者的结合，通过sigmoid函数转换到概率空间中来，得到该点在合并的概率空间中为蓝点的概率。

如果想要实现上边的模型对最终概率的影响比下边的模型大，则需要改变权重，引入加权求和，比如：

将上面的模型组合用感知器的表示方法表示出来：

稍加整理得到：[注意：x₁应该对应的是7，x₂应该对应-2]

左侧权重表明了线性模型的方程，右侧权重表明了线性模型的线性组合关系，从而得到右侧的曲线非线性模型。所以当看到左侧的神经网络，可以思考下它对应的非线性界线是什么。
当将偏差b引入加权求和中：

并非所有神经网络都看起像上面的那样。可能会复杂的多。向输入、隐藏和输出层添加更多节点或添加更多层级会得到非常复杂的深度神经网络。
对于多类别分类，可以在输出层添加更多节点，每个节点告诉我们图片属于每种动物的概率，得到得分score后使用softmax函数得到所需的每个类别的概率：