Вывод формулы нейронной сети обратного распространения BP

Предположим, у нас есть следующая трехслойная нейронная сеть:

Входной слой: 2 нейрона
Скрытый слой: 3 нейрона
Выходной слой: 2 нейрона

Предполагая, что в качестве функции активации используется сигмовидная функция, она определяется следующим образом:

$$\sigma \left(х\right)"="\frac{}{1+{е}^{-х}}$$

Теперь давайте выведем формулу для каждого шага алгоритма обратного распространения.

Шаг 1: прямое распространение

Для выборки $x$ прямой проход рассчитывается следующим образом:

$${г}_{}"="{ж}_1^{}Икс+{б}_{}$$

$${час}_{}"="с\left({г}_{}\right)$$

$${г}_{}"="{ж}_2^{}{час}_{}+{б}_{}$$

$${час}_{}"="с\left({г}_{}\right)$$

Среди них ${ж}_{}$和${ж}_{}$матрица весов, ${б}_{}$和${б}_{}$- вектор смещения, $\sigma (\cdot )$ — сигмовидная функция.

Шаг 2: Рассчитайте ошибку

Предположим, что мы хотим минимизировать квадрат функции потерь:

$$л"="\frac{}{2}\sum _{я=1}({у}_{}-{у}_{}{)}^2$$

Из них $m$ - размер выборки,${у}_{}$сумма ${у}_{}$II _Прогнозируемые и истинные значения$i\; выборок.$Для этого примера$м"="1$。

Следовательно, мы можем вычислить член ошибки ${г}_{}$：

$${г}_{}"="(у-у)\cdot {п}^{\prime }\left({г}_{}\right)"="(у-у)\cdot {час}_{}\cdot (1-{час}_{})$$

где $у$прогнозируемое значение, $y$ - действительное значение,${п}^{\prime }(\cdot )$представляет собой производную сигмовидной функции.

Шаг 3: Обратное распространение

Далее нам нужно вычислить член ошибки δ \delta каждого слоя с помощью алгоритма обратного распространения$д$ .

Для скрытого слоя мы можем использовать следующую формулу для расчета:

$${г}_{}"="{Вт}_{}{г}_{}\cdot {п}^{\prime }\left({г}_{}\right)"="{Вт}_{}{г}_{}\cdot {час}_{}\cdot (1-{час}_{})$$

где ${Вт}_{}$является частью матрицы весов после удаления члена смещения.

Шаг 4: Рассчитайте градиент

Наконец, мы можем использовать член ошибки $\delta$ вычисляет градиенты и обновляет параметры. В частности, мы можем вычислить градиенты весов и смещений, используя следующую формулу:

$$\frac{\partial }{\partial {ш}_{}}"="{час}_{}{г}_{}$$

$$\frac{\partial }{\partial {б}_{}}"="{г}_{}$$

$$\frac{\partial }{\partial {ш}_{}}"="х{д}_{}$$

$$\frac{\partial }{\partial {б}_{}}"="{г}_{}$$

где ${час}_{}$и $x$ - выход скрытого слоя и вход входного слоя соответственно,${г}_{}$和${г}_{}$является термином ошибки.

Наконец, мы можем обновить веса и смещения, используя градиентный спуск или другие алгоритмы оптимизации.