吴恩达机器学习（第十章）---神经网络的反向传播算法

一、简介

我们在执行梯度下降的时候，需要求得J(θ)的导数，反向传播算法就是求该导数的方法。正向传播，是从输入层从左向右传播至输出层；反向传播就是从输出层，算出误差从右向左逐层计算误差，注意：第一层不计算，因为第一层是输入层，没有误差。

二、如何计算

设为第l层，第j个的误差。

以上图为例，（y理想应该得到的结果，a是计算得到的激活项）

            

(忽略正则项)

计算过程

三、梯度检验

用斜率的计算方法来检验梯度下降进行的是否正确

拓展可得 (当j取1的时候，第一个θ_1就不存在，取n也一样)。

如果说明梯度下降执行正确。

四、随机初始化

在初始化θ的时候，对θ向量要随机初始化，不能直接全部初始化为0。