Propagación hacia atrás para encontrar derivadas variables

• En el pasado, solo sabíamos que la retropropagación se implementaba mediante la regla de la cadena.
• Estaba leyendo un libro hoy y descubrí que no podía calcular el valor calculado a partir de la imagen.
• Entonces hice los cálculos, lo registré y ejecuté el código en el libro.
• Libros relacionados:[Serie de programación de Turing] Introducción al aprendizaje profundo: teoría e implementación basada en Python

1. Ejercicios relacionados

2. Proceso de derivación

2.1 Fórmulas relacionadas

$$\begin{array}{rl}F& =a\ast b\\ gramo& =C\ast d\\ h& =F+gramo\\ & =a\ast b+C\ast d\\ i& =h\ast mi\\ & =(f+gramo)\ast mi\\ & =(un\ast b+C\ast re）\ast \end{array}$$

2.3 Resolver derivadas variables

• i

  • La derivada de la última capa se inicializa a1

• e
  $$\begin{array}{rl}\frac{\partial yo}{\partial mi}& =\frac{\partial yo}{\partial yo\_}\ast \frac{\partial yo}{\partial mi}\\ & =\frac{\partial yo}{\partial yo\_}\ast \frac{\partial h\_\ast }{\partial mi}\\ & =1\ast h\\ & =a\ast b+C\ast d\\ & =2\ast 100+150\ast 3\\ & =\end{array}$$

• h
  $$\begin{array}{rl}\frac{\partial yo}{\partial h\_}& =\frac{\partial yo}{\partial yo\_}\ast \frac{\partial yo}{\partial h\_}\\ & =\frac{\partial yo}{\partial yo\_}\ast \frac{\partial h\_\ast }{\partial h\_}\\ & =1\ast mi\\ & =\end{array}$$

• fy g

  • Porque $h=F+g$ , por lo que durante la propagación hacia atrás, la derivada se puede pasar directamente a la posición de suma.
  • Entonces las derivadas de fy son ambasg1.1

• a
  $$\begin{array}{rl}\frac{\partial f}{\partial un}& =\frac{\partial f}{\partial f\_}\ast \frac{\partial un\ast }{\partial un}\\ & =1.1\ast b\\ & =1.1\ast 100\\ & =\end{array}$$

• b
  $$\begin{array}{rl}\frac{\partial f}{\partial segundo}& =\frac{\partial f}{\partial f\_}\ast \frac{\partial f}{\partial segundo}\\ & =1.1\ast \frac{\partial un\ast }{\partial segundo}\\ & =1.1\ast a\\ & =1.1\ast 2\\ & =\end{array}$$

• c
  $$\begin{array}{rl}\frac{\partial g}{\partial c\_}& =\frac{\partial g}{\partial g}\ast \frac{\partial g}{\partial c\_}\\ & =1.1\ast \frac{\partial c\_\ast }{\partial c\_}\\ & =1.1\ast d\\ & =1.1\ast 3\\ & =\end{array}$$

• d
  $$\begin{array}{rl}\frac{\partial g}{\partial re}& =\frac{\partial g}{\partial g}\ast \frac{\partial g}{\partial re}\\ & =1.1\ast \frac{\partial c\_\ast }{\partial re}\\ & =1.1\ast C\\ & =1.1\ast 150\\ & =\end{array}$$

3. Implementación del código

3.1 Correspondencia de parámetros

parámetro	parámetros de código
a	dapple_num
b	dapple
c	dorange
d	dorange_num
e	dall_price
f	dapple_price
g	dorange_price
h	dall_price
i	dprice

3.2 Implementación del código

• Código relacionado

  # 乘法类
  class MulLayer:
      def __init__(self):
          self.x = None
          self.y = None
  
      def forward(self, x, y):
          """
  
          :param x: 价格
          :param y: 数量 或 税
          :return: 总价
          """
          self.x = x
          self.y = y
          out = x * y
  
          return out
  
      def backward(self, dout):
          dx = dout * self.y
          dy = dout * self.x
          return dx, dy
  
  
  class AddLayer:
      def __init__(self):
          pass
      def forward(self, x, y):
          """
          价格相加
          :param x: 苹果总价
          :param y: 句子总价
          :return: 总价
          """
          out = x + y
          return out
      def backward(self, dout):
          """
          相加的求导直接传递，相当于乘以1
          :param dout: 导数
          :return:
          """
          dx = dout * 1
          dy = dout * 1
          return dx, dy
  
  if __name__ == '__main__':
      apple,apple_num = 100,2
      orange,orange_num = 150,3
      tax = 1.1
  
      # 实例化类 layer
      mul_apple_layer = MulLayer()                                            # 计算苹果的价格
      mul_orange_layer = MulLayer()                                           # 计算橘子的价格
      add_apple_orange_layer = AddLayer()                                     # 价格相加
      mul_tax_layer = MulLayer()                                              # 计算税后价格
  
      # 前向传播 forward
      apple_price = mul_apple_layer.forward(apple, apple_num)                 # 苹果价格*苹果数量
      orange_price = mul_orange_layer.forward(orange, orange_num)             # 橘子价格*橘子数量
      all_price = add_apple_orange_layer.forward(apple_price, orange_price)   # 苹果总价+句子总价
      price = mul_tax_layer.forward(all_price, tax)                           # 计算税后价格
  
      # 反向传播 backward
      dprice = 1
      dall_price, dtax = mul_tax_layer.backward(dprice)
      dapple_price, dorange_price = add_apple_orange_layer.backward(dall_price)
      dapple, dapple_num = mul_apple_layer.backward(dapple_price)
      dorange, dorange_num = mul_orange_layer.backward(dorange_price)
  
      # 总价
      print("price:", int(price))
      print("dprice:", dprice)
      print("dtax:", dtax)
      print("dall_price:", dall_price)
      # 苹果
      print("dapple_price:", dapple_price)
      print("dapple_num:", int(dapple_num))
      print("dapple:", dapple)
      # 橘子
      print("dorange_price:", dorange_price)
      print("dorange_num:", int(dorange_num))
      print("dorange:", dorange)
  

• resultado