1.正、反向转播、维度分析
1.1四层神经网络:
1.1.1单个样本
(1).网络结构
(2).前向传播
(3).总结前向传播
(4).维度分析
1.1.2多个样本
(1).网络结构
(2).前向传播
(3).总结前项传播
(4).维度分析
1.2多个神经元
用流程块图来解释神经网络正向传播和反向传播过程。
1.2.1对于第l层来说,正向传播过程中:
1.2.2.对于第l层来说,反向传播过程中:
1.2.3.第l层流程块图
1.2.4.对于神经网络所有层,整体的流程块图正向传播过程和反向传播过程如下所示:
1.2.5.单个样本_正向传播
1.2.6单个样本_反向传播
1.2.7m个样本_正向传播
1.2.8.m个样本_反向求导
1.2.9.总结
案例:见吾博客《softmax反向求导+Pytorch实现+项目讲解》:https://blog.csdn.net/sinat_39783664/article/details/103237326
(讲述手写实现三层神经网络,包含softmax反向求导代码实现)