fondements mathématiques de l'apprentissage en profondeur de la règle de la chaîne

Dernière parlé dérivé de base et dérivée partielle, il ne suffit pas d'utiliser ces aujourd'hui pour dire quelque chose sur la fonction de rétro-propagation est utilisée pour résoudre la dérivation complexe de la règle de la chaîne.

Une fonction composite

fonction connue y = f (u), où u est représenté sous la forme u = lorsque g (x), y en fonction de x peut être exprimée sous la forme y = f (g (x)) de telle sorte que la structure imbriquée, cette imbrication fonction de structure, appelée f (u), g (x) est une fonction complexe.

fichier

2 règle de la chaîne

2.1 fonctions variables simples de la règle de chaîne

univariée fonction connue y = f (u), lorsqu'elle est exprimée en fonction uu univariée lorsque u = g (x), la fonction composite f (g (x)) comme une fonction de guidage peut facilement être trouvé.

fichier

La formule ci-dessus est appelé une fonction composite d'une dérivation variable de la formule, également appelée la règle de la chaîne.

fichier

La bonne formule, si dx, dy, du sont traités comme une seule lettre, puis a quitté le côté droit de l'équation peut être considérée comme le résultat de simples points sur, ce point de vue est toujours vrai. En utilisant le dérivé dx, dy représente similaire, on peut se rappeler la règle de la chaîne: la fonction dérivée peut être aussi complexe que l'utilisation de marquer des points à peu près. Toutefois, cette règle ne concerne pas le cas de la sous dx, dy carré et similaires.

fichier

L'essai Let à la fonction sigmoïde avec le WX + b sont dérivation complexe de celui-ci

fichier

Plus de 2,2 fonctions variables de la règle de la chaîne

Dans le cas des fonctions multi-variables, estime que la règle de la chaîne est également applicable. Tant que le score de la déformation dérivée de l'équation de traitement d'image sur la ligne, mais les choses ne sont pas si simples à penser, en raison de la nécessité d'appliquer la règle de la chaîne pour toutes les variables pertinentes.

Le regard de déposons sur le cas de deux variables. Z est variable u, v dans la fonction, si u, v sont des x, la fonction y, z est x, y de la fonction, la fonction à variables multiples en dessous de la règle de chaîne mis en place à ce moment.

fichier

Variable z est u, la fonction v, u, v x, respectivement, une fonction de y, z lorsque la dérivation de x sur, tout d'abord u, dérivé de v, puis multipliée par la dérivée de z, le produit final correspondant ajoutera le haut.

Lorsque la dérivation y z sur aussi. L'enfant est toujours en cours pour mettre en place.

fichier

fichier

Publié 38 articles originaux · a gagné les éloges 1 · views 2188

Je suppose que tu aimes

Origine blog.csdn.net/wulishinian/article/details/104856488
conseillé
Classement