本章介绍如何设计和优化神经网络
4.1介绍深度学习与深层神经网络的概念
4.2如何设定神经网络的优化目标
4.3更加详细的介绍神经网络的反向传播算法
4.4介绍在神经网络优化中经常遇到的几个问题
4.1深度学习与深层神经网络
维基百科对深度学习的定义:一类通过多层非线性变换对高复杂性数学建模算法的合集
深层神经网络是实现"多层非线性变换"最常用的一种方法,所以深度学习≈深层神经网络
4.1.1介绍线性变换存在的问题,以及为什么要在深度学习的定义中强调"复杂问题"
4.1.2介绍如何实现去线性化
4.1.3介绍一个具体的样例来说明深层网络比浅层网络可以解决更多的问题
4.1.1线性模型的局限性
3.4.2中的例子,虽然神经网络有两层(不算输入层 ),但是它和单层的神经网络并没有区别
线性模型能够解决的问题是有限的,这就是线性模型最大的局限性
下面通过TensorFlow游乐场给出一个具体的例子来验证线性模型的局限性
4.1.2激活函数实现去线性化
本节将介绍激活函数是如何工作的
3.4.2中介绍神经元结构的输出为所有输入的加权和,这导致整个神经网络是一个线性模型
如果将每一个神经元(也就是神经网络中的节点)的输出通过一个非线性函数,那么
整个神经网络的模型也就不再是线性的了,这个非线性函数就是激活函数
图4.5显示了加入激活函数和偏置项之后的神经元结构
