Глубокое обучение | 3 | Правильный способ открытия многослойного персептрона

однослойный персептрон

Существенная разница между персептроном и линейной регрессией: результат отличается

• Выход линейной регрессии представляет собой непрерывное действительное значение

• Выход персептрона представляет собой дискретный класс {0, 1} или {-1, 1}.

Следовательно, персептрон можно рассматривать как классификатор для двоичной классификации: когда на выходе 0, он указывает на первую категорию, а когда на выходе 1, он указывает на вторую категорию .

Метод обучения персептрона

1. Инициализировать w и b
2. цикл:
3.    ~~  如果${у}_{}\times (<{ж}_{},{Икс}_{}>+б)\le 0$ , то:
4.      ~~~~    令$ж\leftarrow ж+{у}_{}{Икс}_{},б\leftarrow б+{у}_{}$
5. Пока все категории не будут правильно классифицированы

В приведенном выше процессе функция потерь может быть записана как:

$л"="\text{макс}(0,-у<ш,Икс>)$

Первый кризис ИИ: проблема XOR

Персептроны не могут решить проблему XOR: трудно разделить проблему XOR линейной функцией.

В это время для решения проблемы вступает в действие многослойный персептрон.

многослойный персептрон

Одна из целей, предложенных многоуровневым персептроном, состоит в том, чтобы позволить ему решить проблему исключающего ИЛИ.

Для некоторых признаков часть признаков сначала классифицируется, а другая часть признаков классифицируется. Результат классификации из двух частей, а затем классификация может решить проблему XOR.
Интуитивно понятно, что самая большая особенность многослойного персептрона заключается в том, что у него есть еще один скрытый слой.

Учитывая ввод dim=m, требуется, наконец, вывести выходной вектор (категорию) dim=n, тогда интуитивно понятный способ добиться этого:

$$\left[\begin{array}{c}{час}_{}\\ ⋮\\ {час}_{}\end{array}\right]"="\left[\begin{array}{ccc}{ж}_{}{1}^{\left(0\right)}& \cdots & {ж}_{}{м}^{\left(0\right)}\\ ⋮& \ddots & ⋮\\ {ж}_{}{1}^{(0}& & {ж}_{}{м}^{(0}\end{array}\right]\cdot \left[\begin{array}{c}{Икс}_{}\\ ⋮\\ {Икс}_{}\end{array}\right]+\left[\begin{array}{c}{б}_1^{(0}\\ ⋮\\ {б}_{к}^{(0}\end{array}\right]$$

$$\left[\begin{array}{c}{о}_{}\\ ⋮\\ {о}_{}\end{array}\right]"="\left[\begin{array}{ccc}{ж}_{}{1}^{\left(1\right)}& \cdots & {ж}_{}{к}^{\left(1\right)}\\ ⋮& \ddots & ⋮\\ {ж}_{}{1}^{(1}& & {ж}_{}{к}^{(1}\end{array}\right]\cdot \left[\begin{array}{c}{час}_{}\\ ⋮\\ {час}_{}\end{array}\right]+\left[\begin{array}{c}{б}_1^{(1}\\ ⋮\\ {б}_{н}^{(1}\end{array}\right]$$

Записанное в матричной форме, приведенное выше

$$час"="{Вт}^{\left(0\right)}х+{б}^{\left(0\right)}$$

$$о"="{Вт}^{\left(1\right)}ч+{б}^{\left(1\right)}$$

Но по факту это все же однослойная сеть,
после приведения вышеприведенной формулы она будет иметь следующий вид:

$${о"="Вт}^{\left(1\right)}\left({Вт}^{\left(0\right)}{х+б}^{\left(0\right)}\right)+{б}^{\left(1\right)}$$

Тогда, после раскрытия, это можно записать так:

$${о"="Вт}^{\left(1\right)}{Вт}^{\left(0\right)}{х+Вт}^{\left(1\right)}{б}^{\left(0\right)}+{б}^{\left(1\right)}$$

其中，${Вт}^{\left(0\right)}е{р}^{к\times м},{Вт}^{\left(1\right)}е{р}^{к\times п},{б}^{\left(0\right)}е{р}^{к\times 1},{б}^{\left(1\right)}е{р}^{п\times 1}$

那么, $Вт"="{Вт}^{\left(1\right)}\times {Вт}^{\left(0\right)}е{р}^{п\times м},б"="{Вт}^{\left(1\right)}{б}^{\left(0\right)}+{б}^{\left(1\right)}е{р}^{п\times 1}$

По существу, формулу можно записать в виде

$$о"="Втх+б$$

Поэтому по сути это все еще однослойная нейронная сеть.

Самой большой причиной вышеуказанных проблем является отсутствие нелинейности в процессе передачи нейронов .

Один вход, умноженный на несколько матриц, по существу эквивалентен умножению на одну матрицу.

Потому что умножение матриц — линейный процесс: после преобразования его можно преобразовать обратно.

Основная форма линейного преобразования:

$$у"="Втх$$

Способ изменить эту ситуацию — добавить в модель нелинейные преобразования.

Добавить нелинейное преобразование, функцию активации

Сигмод функция

$$\text{Икс}"="\frac{}{1+\text{ехр}(-х)}$$
нарисовать изображение

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

import torch
import matplotlib.pyplot as plt

plt.figure(figsize=(2, 2))

x = torch.arange(-5, 5, 0.1, requires_grad=True)
y = x.sigmoid()
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

При каких обстоятельствах уместно использовать функцию активации сигмоида?

Выход сигмовидной функции находится в диапазоне от 0 до 1. Он нормализует выходные данные каждого нейрона, поскольку выходное значение ограничено от 0 до 1
для моделей, в которых в качестве вывода используются предсказанные вероятности. Поскольку вероятность колеблется от 0 до 1, сигмовидная функция очень удобна;
градиент плавный, чтобы избежать «прыгающих» выходных значений;
функция дифференцируема. Это означает, что можно найти наклон сигмовидной кривой для любых двух точек,
четкое предсказание, т. е. очень близкое к 1 или 0.

Недостатки сигмовидной функции активации:

Исчезновение градиента: Примечание. Скорость изменения становится плоской, когда функция сигмоиды приближается к 0 и 1, то есть градиент сигмоиды приближается к 0. Когда нейронная сеть использует сигмовидную функцию активации для обратного распространения, градиент нейрона, выходной сигнал которого близок к 0 или 1, стремится к 0. Эти нейроны называются насыщающими нейронами. Поэтому веса этих нейронов не обновляются. Кроме того, очень медленно обновляются веса нейронов, связанных с такими нейронами. Эта проблема называется исчезающим градиентом. Итак, представьте, если большая нейронная сеть содержит сигмовидные нейроны, многие из которых насыщены, сеть не может выполнять обратное распространение.
Не центрировано на нуле: выходные данные сигмоиды не центрируются на нуле, и выходные данные всегда больше 0. Результат ненулевого центрирования приведет к тому, что вход нейронов в следующем слое будет иметь сдвиг смещения (смещение смещения), и далее Это замедляет скорость сходимости градиентного спуска.
Вычислительно дорого: функция exp() требует больших вычислительных ресурсов и медленнее работает на компьютере по сравнению с другими нелинейными функциями активации.

y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

Тан функция

$$\text{Икс}"="\frac{1-\text{ехр}(-2х}{1+\text{ехр}(-2х)}$$

y = x.tanh()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

Недостатки танга:

Подобно сигмоиде, функция Tanh также имеет проблему исчезновения градиента, поэтому она также «убивает» градиент, когда он насыщается (когда x большой или маленький).
Примечание. В общих задачах бинарной классификации функция tanh используется для скрытого слоя, а сигмовидная функция — для выходного слоя, но это не фиксировано и требует настройки для конкретной задачи.

x.grad.zero_()
y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

Функция ReLU

$$\text{перечитай}\left(х\right)"="\{\begin{array}{ll}0,& \text{Икс}\le 0\\ х& \text{х >}\end{array}$$

y = x.relu()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

x.grad.zero_()
y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

На практике функция relu имеет более лаконичное выражение:

$$\text{перечитай}\left(х\right)"="\text{макс}(х,0)$$

Функция ReLU — популярная функция активации в глубоком обучении.По сравнению с сигмовидной функцией и функцией тангенса она имеет следующие преимущества:

Когда вход положительный, производная равна 1, что в определенной степени улучшает проблему исчезновения градиента и ускоряет скорость сходимости градиентного спуска; скорость вычислений
намного выше. В функции ReLU есть только линейные отношения, поэтому ее можно вычислить быстрее, чем сигмовидную и тангенциальную.
Считается имеющим биологическое правдоподобие (биологическое правдоподобие), такое как одностороннее торможение, широкая граница возбуждения (то есть степень возбуждения может быть очень высокой)

Недостатки функции ReLU:

Мертвая проблема ReLU. ReLU полностью выходит из строя, когда вход отрицательный, что не является проблемой при прямом распространении. Некоторые области являются чувствительными, а другие нет. Но в процессе обратного распространения, если вводится отрицательное число, градиент будет полностью нулевым;
[проблема мертвого ReLU] нейроны ReLU относительно легко «умирают» во время обучения. Во время обучения, если нейрон ReLU в первом скрытом слое не может быть активирован на всех обучающих данных после неподходящего обновления параметров, градиент собственных параметров нейрона всегда будет равен 0. Он никогда не сможет быть активирован во время последующего процесса обучения. Это явление называется проблемой мертвого ReLU, и оно может возникать и в других скрытых слоях.
Не центрировано на нуле: как и в случае функции активации сигмоида, выходные данные функции ReLU не центрируются на нуле, а выходные данные функции ReLU равны 0 или положительному числу.Введение смещения смещения в нейронную сеть следующего слоя повлияет на эффективность градиентного спуска.

Для каждого нейрона настроена функция активации.

Его физический смысл таков: когда его порог достаточно велик, он будет активирован (передан на нижний уровень), иначе не будет пройден.

На самом деле, этот физический смысл имеет нейробиологическое объяснение.

Следовательно, общая форма многослойного персептрона:

$$час"="г\left({Вт}^{\left(0\right)}{х+б}^{\left(0\right)}\right)$$

$$о"="\text{софтмакс}\left({Вт}^{\left(1\right)}{ч+б}^{\left(1\right)}\right)$$

Подведем итог

Многослойный персептрон — это многоуровневая модель классификации , основанная на нейронных сетях .

Его вывод — это вывод после softmax, то есть вывод — это вероятность;

Его несколько слоев происходят из-за нелинейности функции активации.

Наиболее часто используемой функцией активации является функция Relu, поскольку ее наиболее удобно вычислять.