1.1 感知器
感知器在 20 世纪五、六⼗年代由科学家 Frank Rosenblatt 发明,其受到 Warren McCulloch 和 Walter Pitts 早期的工作的影响。今天,使用其它人工神经元模型更为普遍 —— 在这本书中,以及更多现代的神经网络工作中,主要使用的是一种叫做 S 型神经元的神经元模型。
1.2 S 型神经元
S 型神经元和感知器类似,但是被修改为权重和偏置的微小改动只引起输出的微小变化。
1.3 神经网络的架构
有些令人困惑的是,由于历史的原因,尽管是由 S 型神经元而不是感知器构成,这种多层网络有时被称为多层感知器或者 MLP。
1.4 一个简单的分类手写数字的网络
我们将使用一个三层神经网络来识别单个数字:
1.5 使用梯度下降算法进行学习
数据集:MNIST数据集
代价函数:
梯度下降:
随机梯度下降: