[Примечания к исследованию чертежей искусственного интеллекта] Сеть глубокой прямой связи (3)

Мы уже получили некоторые знания о сетях глубокого прямого распространения в курсе машинного обучения Эндрю Нга. Эта глава в основном представляет собой краткое изложение главы 6 Цветочной книги «Глубокого обучения»: Сети глубокого прямого распространения. Я надеюсь, что, прочитав эту главу, вы сможете вспомнить некоторые ссылки или детали курса машинного обучения, которые будут полезны для понимания этой статьи.

Справочные примечания:
Предварительное исследование нейронных сетей прямого распространения — Книга цветов глубокого обучения Глава 6 (1)
Подробное объяснение функции потерь нейронной сети, выходного слоя, скрытого слоя — Глубокое обучение Глава 6 (2)
Алгоритм обратного распространения ошибки — Глубокое обучение Глава 6 Глава шестая ( 3)

---

---

Обратное распространение ошибки и другие дифференциальные алгоритмы

Когда мы используем нейронную сеть прямого распространения для приема входных данных $x$ и выведите результат$й$Когда информация течет вперед через сеть, от входного слоя к выходному слою. Мы называем этот процесс распространения прямым распространением . Во время процесса обучения прямое распространение течет вперед от входа к скрытому слою и к выходу. Процесс, который будет в конечном итоге создадим скалярную функцию стоимости $J\left(\theta \right)$ . И наоборот, мы также можем позволить информации из функции стоимости течь обратно через сеть, чтобы вычислить градиент, процесс, который мы называемобратным распространением ошибки.

Следует отметить, что существует распространенное заблуждение, что обратное распространение ошибки — это весь алгоритм обучения нейронных сетей. На самом деле обратное распространение ошибки относится только к процессу вычисления градиентов. Фактический процесс обучения — это стохастический градиентный спуск (SGD) . Обновите алгоритм сети.

Принцип обратного распространения ошибки очень прост, он использует цепное правило производных:

$длятебя"="г\left(Икс\right),я"="ж\left(г\right(Икс))"="f\left(y\right),\; есть\frac{д}{дх}"="\frac{д}{дй}\frac{д}{дх}$

В обобщенном виде это
${▽}_{}я"="\left(\frac{\partial }{\partial х}{)}^{Т}{▽}_{}г\right({▽}_{}zпредставляет\; собойградиент\; производнойzпоx)$

Мы можем использовать правило цепочки для непрерывного получения градиента каждого слоя из конечной функции потерь, а обратное распространение ошибки — это специальный процесс выполнения операций цепного правила, то есть в сочетании с динамическим программированием (динамическое программирование) позволяет избежать повторяющихся операций определенных операций и использует меньшие затраты на хранение в обмен на повышение скорости.

Правило цепочки реализует обратное распространение ошибки

Предположим, архитектура нейронной сети выглядит следующим образом:

Затем, согласно цепному правилу, мы хотим вычислить градиент от z до w, тогда мы имеем
$$\begin{gathered} \frac{\partial }{\partial ш} \\ "="\frac{\partial }{\partial у}\frac{\partial }{\partial х}\frac{\partial }{\partial ш} \\ "="{ж}^{\prime }\left(у\right){ж}^{\prime }\left(Икс\right){ж}^{\prime }\left(ш\right) \\ "="{ж}^{\prime }\left(ж\right(ж(ш))){ж}^{\prime }(ж(ш)){ж}^{\prime }(ш) \end{gathered}$$

Окончательная функциональная форма — это только $f\left(w\right)$ и его производная функция n-го порядка, преимущество состоит в том, что это сокращает время хранения и работы.

Чтобы представить алгоритм в кратких обозначениях, мы используем вычислительный граф для представления нашей нейронной сети.Каждый узел представляет собой входной узел, узел скрытого слоя или выходной узел, а каждое ребро представляет собой операцию между узлами, например Для $ЧАС"="маИкс\{0,ШХ+b\}$ , такая функция ReLU может быть представлена ​​следующим рисунком:

(В приведенном выше графе вычислений входной узел эквивалентен операции вычисления, например ${ты}^{\left(1\right)}$ соответствует умножению матриц,${ты}^{\left(2\right)}$ соответствует сложению)

алгоритм прямого распространения

Предположим, мы вычисляем ${н}_{}$Используйте u (1) u^{(1)} для входных узлов${ты}^{\left(1\right)}$ к${ты}^{\left({н}_{}\right)}$ отображается на итоговый выход потерь${ты}^{\left(n\right)}$ , то цель обратного распространения ошибки состоит в том, чтобы выяснить, для$я€\{1,\mathrm{2....}{н}_{}\}$ все градиенты. Предположим, что связь между каждым промежуточным узлом и всеми родительскими узлами его предыдущего слоя равна${ты}^{\left(я\right)}"="{ж}^{\left(я\right)}\left({А}^{\left(i\right)}\right)$, где${А}^{\left(я\right)}"="Па(ты\_{}^{\left(я\right)})$Представитель${ты}^{}$Набор всех родительских узлов${}^{(}$${}^i$${}^{)}$
, где каждый узел передает функцию${ж}^{\left(i\right)}$ применяется к набору переменных${А}^{\left(я\right)}$上上计расчет${ты}^{\left(я\right)}$の值，${А}^{\left(i\right)}$ содержит предыдущий узел${ты}^{Значение\; (j)}$ удовлетворяет условию$дж<i$且$дж€Па(ты\_{}^{\left(я\right)})"="{А}^{\left(i\right)}$ входом графика вычислений является вектор$x$ и присваивается первому${н}_{}$Частичная точка ${ты}^{\left(1\right)}тебе{\_}^{\left({н}_{}\right)}$ , выход графа вычислений может быть из последнего (выход j) узла${ты}^{\left(н\right)}$ Читать. Тогда алгоритм прямого распространения можно выразить так:

---

Алгоритм обратного распространения

对于回向传过程,设计链式法则有:
$\frac{\partial {ты}^{(н}}{\partial {ты}^{\left(Дж\right)}}"="{\sum }_{я:j\in PA(ты\_{}^{\left(я\right)}}\frac{\partial {ты}^{(н}}{\partial {ты}^{\left(я\right)}}\frac{\partial {ты}^{(я}}{\partial {ты}^{\left(Дж\right)}}$
То есть для узла ${ты}^{\left(j\right)}$ (j принадлежит всем родительским узлам i), его производная равна всем его дочерним узлам$я$相对于${ты}^{}$Производная от${}^{(}$${}^j$${}^{)}$${ты}^{\left(n\right)}$ Сумма произведений по отношению к производным дочерних узлов.

Итак, пройдя процесс прямого распространения, мы получили значение каждого узла, и алгоритм расчета градиента посредством обратного распространения таков. Таблица

градиентов в приведенном выше алгоритме также воплощает идею алгоритма динамического программирования до определенного степень. Например, на картинке ниже:

Видно, что в алгоритме обратного распространения ошибки мы посещаем каждое ребро графа только один раз, что уменьшает объем вычислений. Например, для следующего графика расчета:

$$\begin{gathered} \frac{\partial }{\partial ш} \\ "="\frac{\partial }{\partial у}\frac{\partial }{\partial х}\frac{\partial }{\partial ш}(обратное\; распространение\; ошибки) \\ "="{ж}^{\prime }\left(у\right){ж}^{\prime }\left(Икс\right){ж}^{\prime }\left(ш\right) \\ "="{ж}^{\prime }\left(ж\right(ж(ш))){ж}^{\prime }(ж(ш)){ж}^{\prime }(w\left)\right(прямое\; распространение) \end{gathered}$$

Если вы не используете обратное распространение ошибки, чтобы получить $\frac{\partial }{\partial ш}$Тогда нам нужно выполнить всего шесть операций, тогда как для использования обратного распространения ошибки требуется всего три операции.

Подводя итог, в процессе прямого распространения мы рассчитали значение каждого узла в сети.Во время процесса обратного распространения мы использовали эти значения и правило цепочки производных в сочетании с методом динамического программирования, чтобы избежать повторных операций и значительно улучшена скорость расчета градиента, что более удобно для использования градиентов для выполнения стохастического градиентного спуска для обновления параметров нейронной сети для выполнения задач обучения машинному обучению.

---

Расчет обратного распространения ошибки в полностью подключенном MLP

Давайте рассмотрим конкретный граф, связанный с полностью связным многоуровневым MLP.Приведенный ниже алгоритм дает соответствующее прямое распространение, которое сопоставляет параметры с параметрами, связанными с одной обучающей выборкой (входной, целевой) (x, y) Контролируемые потери функция $Л(й,y)$，其中$й$Это когда $Выходные\; данные\; нейронной\; сети,\; когда\; x$ предоставляется в качестве входных данных.

Это расчет прямого распространения и функции стоимости типичной глубокой нейронной сети, функция потерь $Л(й,y)$ зависит от выхода$й$и цель $й$ . Чтобы получить общую стоимость$J$ функция потерь может быть добавлена ​​с помощью регуляризационного члена$\Omega \left(\theta \right)$，使用$\theta$ содержит все параметры (весовую матрицу и параметры смещения). В этой демонстрации используется только один входной образец$x$ для практического применения следует использовать небольшие партии.

В алгебраических выражениях и вычислительных графах мы работаем с символами или переменными, которые не имеют определенных значений.Эти алгебраические выражения или выражения на основе графов называются символьными представлениями . При фактическом использовании или обучении нейронных сетей мы должны присваивать значения этим символам.

Обратный расчет вышеупомянутой нейронной сети не только использует входные данные $x$ и цель$й$ . Расчет ведется для каждого слоя$k$ all создает пары переменных активации${а}^{Градиент\; (k)}$ рассчитывается в обратном направлении, начиная с выходного слоя до достижения первого скрытого слоя. Эти градиенты можно рассматривать как руководство относительно того, как следует регулировать выходные данные каждого слоя, чтобы уменьшить ошибку.Согласно этим градиентам можно получить градиенты параметров каждого слоя. Градиенты весов и смещений можно использовать немедленно как часть обновления стохастического градиента (обновления можно выполнять сразу после расчета градиентов) или использовать с другими алгоритмами оптимизации на основе градиента.

Некоторые алгоритмы обратного распространения ошибки принимают на вход графа вычислительный граф и набор значений, а затем возвращают набор значений градиента на выходе.Этот метод сначала определяет знак, а затем вычисляет значение. называется знакозначным дифференцированием .

Если мы просто используем вычислительный граф, мы можем добавить к нему несколько дополнительных узлов, которые обеспечивают символические описания нужных нам производных. Мы называем это подходом «символ-символ » .

Символьно-числовой метод можно понимать как точно такое же вычисление, как и в символьно-числовом графе, с ключевым отличием в том, что символьно-числовой метод не показывает график вычислений справа.

(Содержание формального алгоритма обобщенного обратного распространения ошибки опущено. По сути, это реализация псевдокода процесса расчета обратного распространения ошибки, который мы суммировали, и записывает матрицу Якоби gard_table о градиенте для расчета)

Пример обратного распространения ошибки для MLP

Теперь мы задаем скрытый слой сети $ЧАС"="маИкс\{0,Х{Вт}^{\left(1\right)}\}$, здесь для простоты параметр смещения$b$ , теперь задана функция стоимости:

$Дж"="{Дж}_{МЛ}+л\left(\underset{я,дж}{}\right({Вт}_{я,дж}^{(1}{)}^2+\underset{я,дж}{}\left({Вт}_{я,дж}^{(2}{)}^2\right)$

График его расчета выглядит следующим образом.Новые узлы после расчета будут представлены новыми символами:

Вывести градиент вручную очень затруднительно.К счастью, у нас есть алгоритм обратного распространения ошибки, который может автоматически генерировать градиенты. Мы можем описать поведение алгоритма обратного распространения ошибки, посмотрев на диаграмму прямого распространения ошибки выше:

Для обучения мы хотим вычислить ${▽}_{{ш}^{(1}}J$和${▽}_{{ш}^{(2}}J$ , в сочетании с изображением мы можем знать, что оно представляет собой два разных пути от$J$ поддерживает веса: один через стоимость перекрестной энтропии (слева), а другой через стоимость распада веса (справа). Стоимость снижения веса относительно проста, она всегда для${Вт}^{\left(i\right)}$ Вклад верхней лестницы$2л{Вт}^{\left(я\right)}\left(\lambda \right(W^{\left(я\right)}{)}^2Производная)$

Другой путь стоимости перекрестной энтропии немного сложнее, пусть $G$ — ненормализованная логарифмическая вероятность${ты}^{Градиент\; (2)}$ затем делится на две ветви. На более короткой ветви справа правило обратного распространения ошибки для второй переменной матричного умножения может использоваться для преобразования HTGH${ЧАС}^{T}G$добавляется к${Вт}^{\left(2\right)}$ по градиенту.

Другой, более длинный путь постепенно спускается по сети. Во-первых, алгоритм обратного распространения ошибки использует правило обратного распространения ошибки первой переменной матричного умножения для вычисления ${▽}_{}Дж"="Г{В}^{\left(2\right)T}$ , то операция ReLU использует правило обратного распространения ошибки для вычисления${ты}^{Часть\; градиента\; (1)}$ , которая меньше 0, очищается. Запишите приведенный выше результат как${г}^{’}$ . Последнимшагом обратного распространения ошибки является использование обратного распространения ошибки для второй переменной операции matmul.${Икс}^{Т}{Г}^{\prime }$ Добавить к${Вт}^{\left(1\right)}$ по градиенту.

После расчета этих градиентов алгоритм градиентного спуска или другой алгоритм оптимизации должен использовать эти градиенты для обновления параметров. Для MLP вычислительные затраты в основном связаны с умножением матриц.