机器学习笔记（五）神经网络参数的拟合

Cost function（代价函数）

1、参数表示：

m 个训练样本：{(x⁽¹⁾, y⁽¹⁾), (x⁽²⁾, y⁽²⁾), ..., (x^(m), y^(m))}

神经网络的层数：L

l 层的神经元数量（不计入偏置单元）：S_l

2、两种分类问题：

（1）Binary classification（二元分类）：

y = 0 or 1

只有一个输出单元 / h_θ(x)为一个实数 / S_L = 1

（2）Multi-class classification（多类别分类）：

有K个输出单元

 

3、代价函数：

 Backpropagation algorithm（反向传播算法）

1、字符定义：

 δ_j^(l) ：表示第 l 层的第 j 个结点的误差。   

a_j^(l) :   表示第 l 层的第 j 个结点的激励值。

2、计算过程：（假设是4层神经网络，即下图）【后期推导】

 对于第4层的每一个输出单元：

 δ_j⁽⁴⁾ = a_j⁽⁴⁾- y_j （其中 a_j⁽⁴⁾ 也可记为h_θ(x)）

向量化：δ⁽⁴⁾ = a⁽⁴⁾- y

δ⁽³⁾ = (Θ⁽³⁾)^Tδ⁽⁴⁾ .*g'(z⁽³⁾) ，其中 g'(z⁽³⁾) = a⁽³⁾.*(1-a⁽³⁾)

δ⁽²⁾ = (Θ⁽²⁾)^Tδ⁽³⁾ .*g'(z⁽²⁾) ，其中 g'(z⁽²⁾) = a⁽²⁾.*(1-a⁽²⁾)

δ⁽¹⁾ 不存在误差。

3、算法流程：

（其中向量化表示Δ：）

 

 通过证明可得【后期推导】：