【ML】_07_BP（反向传播）

 

---

【一】 Back Propagation（BP算法，反向传播）

非常重要的，反向传播更新参数的算法，必须掌握

---

【二】 正向传播（Forward）

• 求出 $\bm \red {a^{(k)}(x)}$（神经元下半部分）， $\bm \red {h^{(k)}(x)}$（神经元上半部分） 和 $\bm \red {f(x)}$

---

【三】 BP 求导流程

• $\bm {Loss}$ 对 输出层（ $\bm {f(x)}$）求梯度，即上半部分
   
  $\bm \red {\frac { \partial Loss } { \partial f ( x ) }} = \frac { \partial -logf(x)y } { \partial f ( x ) }= \frac { - e ( y ) } { f ( x ) y } \;\;\;\; s.t \;\;y=1 \;时 \; e(y)=[ \,1, 0, 0, ..., 0 \,]$

• 对 输出层 $(L+1)$ 的 $\bm {softmax}$（分类）求梯度， $(\bm a)$ 表示 神经元 的 $\bm {pre\_activation}$，即下半部分
   
  $\bm \red {\frac { \partial Loss } { \partial a ^ { ( L + 1 ) } ( x ) } }= f ( x ) - e ( y )\;\;\;\; s.t \;\;y=1 \;时 \; e(y)=[ \,1, 0, 0, ..., 0 \,]$

• 链式求导法则， $(\bm h)$ 表示 神经元 的 $\bm {post\_activation}$，即上半部分
   
  $\bm \red {\frac { \partial Loss } { \partial h ^ { ( k ) } ( x ) }} = ( w ^ { (k + 1) } ) ^ { T } \cdot \frac { \partial -logf(x)y } { \partial a ^ { (k + 1) } ( x ) }$

• 链式求导法则， $(\bm a)$ 表示 神经元 的 $\bm {pre\_activation}$， $\bm \odot$ 表示对应相乘， $\bm {g'}$ 表示对激活函数进行求导
   
  $\bm \red {\frac { \partial Loss } { \partial a ^ { ( k ) } ( x ) }}= \frac { \partial Loss } { \partial h ^ { ( k ) } ( x ) } \odot g ^ { \prime } ( a ^ { ( k ) } ( x ) )$

• 链式求导法则，求 $\bm {Loss}$ 对 $\bm w$ 的梯度
   
  $\bm \red {\frac { \partial Loss } { \partial w ^ { ( k ) } }} = \frac { \partial Loss } { \partial a ^ { ( k ) } ( x ) }\cdot ( h ^ { ( k - 1 ) } ( x ) ) ^ { T }$

• 链式求导法则，求 $\bm {Loss}$ 对 $\bm b$ 的梯度
   
  $\bm \red {\frac { \partial Loss } { \partial b ^ { ( k ) } }} = \frac { \partial Loss } { \partial a ^ { ( k ) } ( x ) }$

---

【四】 Gradient Checking（梯度检测）

• 用于检查算出的梯度是否合理，给 $\bm \varepsilon$ 一个很小的值
   
  $f ^ { \prime } ( x ) = \frac { \partial f ( x ) } { \partial x } =\frac { f ( x + \varepsilon ) - f ( x - \varepsilon ) } { 2 \varepsilon } \;\;\;\;\; s.t \;\;\; \varepsilon→0$