Aprendizado profundo | 3 | A maneira correta de abrir o perceptron multicamadas

perceptron de camada única

A diferença essencial entre perceptron e regressão linear: a saída é diferente

• A saída da regressão linear é um valor real contínuo

• A saída do perceptron é uma classe discreta {0, 1} ou {-1, 1}

Portanto, o perceptron pode ser considerado um classificador para classificação binária: quando a saída for 0, indica a primeira categoria, e quando a saída for 1, indica a segunda categoria .

Método de Treinamento Perceptron

1. Inicializar w e b
2. ciclo:
3.    ~~  如果$y_{}\times (<c_{},x_{}>+b)\le 0$ , então:
4.      ~~~~    令$c\leftarrow c+y_{}{x}_{},b\leftarrow b+y_{}$
5. Até que todas as categorias sejam classificadas corretamente

No processo acima, a função de perda pode ser escrita como:

$eu=\text{máx}(0,-y<w,x>)$

A primeira crise da IA: o problema XOR

Perceptrons não podem resolver o problema XOR: é difícil dividir o problema XOR com uma função linear.

Nesse momento, o perceptron multicamadas entra em ação para resolver o problema.

perceptron multicamadas

Um dos propósitos propostos pelo perceptron multicamadas é permitir que ele resolva o problema XOR.

Para vários recursos, alguns recursos são primeiro classificados e outra parte é classificada. O resultado da classificação em duas partes e, em seguida, classificar, pode resolver o problema XOR.
Intuitivamente, a maior característica do perceptron multicamadas é que ele possui mais uma camada oculta.

Dada uma entrada de dim=m, é necessário finalmente produzir um vetor de saída (categoria) de dim=n, então uma maneira intuitiva de alcançá-lo é:

$$\left[\begin{array}{c}{h}_{}\\ ⋮\\ h_{}\end{array}\right]=\left[\begin{array}{ccc}{c}_{}{1}^{\left(0\right)}& \cdots & c_{}{m}^{\left(0\right)}\\ ⋮& \ddots & ⋮\\ c_{}{1}^{(0}& & c_{}{m}^{(0}\end{array}\right]\cdot \left[\begin{array}{c}{x}_{}\\ ⋮\\ x_{}\end{array}\right]+\left[\begin{array}{c}{b}_1^{(0}\\ ⋮\\ b_k^{(0}\end{array}\right]$$

$$\left[\begin{array}{c}{o}_{}\\ ⋮\\ o_{}\end{array}\right]=\left[\begin{array}{ccc}{c}_{}{1}^{\left(1\right)}& \cdots & c_{}{k}^{\left(1\right)}\\ ⋮& \ddots & ⋮\\ c_{}{1}^{(1}& & c_{}{k}^{(1}\end{array}\right]\cdot \left[\begin{array}{c}{h}_{}\\ ⋮\\ h_{}\end{array}\right]+\left[\begin{array}{c}{b}_1^{(1}\\ ⋮\\ b_n^{(1}\end{array}\right]$$

Escrito em forma de matriz, o acima é

$$h=C^{\left(0\right)}x+b^{\left(0\right)}$$

$$o=C^{\left(1\right)}horas+b^{\left(1\right)}$$

Mas, na verdade, ainda é uma rede de camada única.
Depois que a fórmula acima for introduzida, ela ficará da seguinte forma:

$${o=C}^{\left(1\right)}\left(W^{\left(0\right)}{x+b}^{\left(0\right)}\right)+b^{\left(1\right)}$$

Então, após a expansão, pode ser escrito como:

$${o=C}^{\left(1\right)}{W}^{\left(0\right)}{x+C}^{\left(1\right)}{b}^{\left(0\right)}+b^{\left(1\right)}$$

其中，$C^{\left(0\right)}\in R^{k\times m},C^{\left(1\right)}\in R^{k\times n},b^{\left(0\right)}\in R^{k\times 1},b^{\left(1\right)}\in R^{n\times 1}$

那么，$C=C^{\left(1\right)}\times C^{\left(0\right)}\in R^{n\times m},b=C^{\left(1\right)}{b}^{\left(0\right)}+b^{\left(1\right)}\in R^{n\times 1}$

Essencialmente, a fórmula pode ser escrita como

$$o=Lx+b$$

Portanto, ainda é uma rede neural de camada única em essência.

A maior razão para os problemas acima é a falta de não linearidade no processo de transmissão dos neurônios .

Uma entrada, multiplicada por várias matrizes, é essencialmente equivalente a multiplicada por uma matriz.

Porque a multiplicação de matrizes é um processo linear: após a transformação, ela pode ser transformada de volta.

A forma básica de uma transformação linear:

$$y=Lx$$

A maneira de mudar essa situação é adicionar transformações não lineares ao modelo.

Adicionar transformação não linear, função de ativação

Função Sigmod

$$\text{x}=\frac{}{1+\text{exp}(-x)}$$
desenhe a imagem

import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

import torch
import matplotlib.pyplot as plt

plt.figure(figsize=(2, 2))

x = torch.arange(-5, 5, 0.1, requires_grad=True)
y = x.sigmoid()
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

Em que circunstâncias é apropriado usar a função de ativação Sigmoid?

A saída da função sigmóide varia de 0 a 1. Ele normaliza a saída de cada neurônio, pois o valor de saída é limitado de 0 a 1;
para modelos que têm probabilidades previstas como saída. Como a probabilidade varia de 0 a 1, a função Sigmoid é muito adequada;
o gradiente é suave para evitar valores de saída "saltos";
a função é diferenciável. Isso significa que a inclinação da curva sigmóide para quaisquer dois pontos pode ser encontrada;
uma previsão clara, ou seja, muito próxima de 1 ou 0.

As deficiências da função de ativação Sigmoid:

Desaparecimento do gradiente: Observação: a taxa de variação torna-se plana à medida que a função Sigmóide se aproxima de 0 e 1, ou seja, o gradiente do Sigmóide se aproxima de 0. Quando a rede neural usa a função de ativação Sigmoid para retropropagação, o gradiente do neurônio cuja saída é próxima de 0 ou 1 tende a 0. Esses neurônios são chamados de neurônios de saturação. Portanto, os pesos desses neurônios não são atualizados. Além disso, os pesos dos neurônios conectados a esses neurônios são atualizados muito lentamente. Este problema é chamado de gradiente de fuga. Então imagine se uma grande rede neural contiver neurônios sigmoides, muitos dos quais estão saturados, a rede não pode realizar retropropagação.
Não centrado em zero: Se a saída Sigmoid não estiver centrada em zero, a saída será sempre maior que 0, e a saída do centro diferente de zero fará com que a entrada dos neurônios na próxima camada seja polarizada (Bias Shift) e Além disso, isso diminui a taxa de convergência da descida do gradiente.
Computacionalmente caro: A função exp() é computacionalmente cara e lenta para ser executada em um computador em comparação com outras funções de ativação não linear.

y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

função Tanh

$$\text{x}=\frac{1-\text{exp}(-2x}{1+\text{exp}(-2x)}$$

y = x.tanh()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

As deficiências de tanh:

Semelhante ao sigmóide, a função Tanh também tem o problema do desaparecimento do gradiente, portanto, também "matará" o gradiente quando estiver saturado (quando x for grande ou pequeno).
Nota: Em problemas gerais de classificação binária, a função tanh é usada para a camada oculta e a função sigmoide é usada para a camada de saída, mas isso não é fixo e precisa ser ajustado para o problema específico.

x.grad.zero_()
y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

Função ReLU

$$\text{releia}\left(x\right)=\{\begin{array}{ll}0,& \text{x}\le 0\\ x& \text{x >}\end{array}$$

y = x.relu()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), y.detach().numpy())
plt.show()

x.grad.zero_()
y.sum().backward()
plt.figure(figsize=(3, 3))
plt.scatter(x.detach().numpy(), x.grad.detach().numpy())
plt.show()

Na prática, a função relu tem uma expressão mais concisa:

$$\text{releia}\left(x\right)=\text{máx}(x,0)$$

A função ReLU é uma função de ativação popular em aprendizado profundo. Em comparação com a função sigmóide e a função tanh, ela apresenta as seguintes vantagens:

Quando a entrada é positiva, a derivada é 1, o que melhora o problema do desaparecimento do gradiente até certo ponto e acelera a velocidade de convergência da descida do gradiente; a
velocidade de cálculo é muito mais rápida. Existem apenas relações lineares na função ReLU, portanto, ela pode ser calculada mais rapidamente do que sigmoide e tanh.
Considerado como tendo plausibilidade biológica (Plausibilidade Biológica), como inibição unilateral, amplo limite de excitação (ou seja, o grau de excitação pode ser muito alto)

Desvantagens da função ReLU:

Problema de ReLU morto. ReLU falha completamente quando a entrada é negativa, o que não é um problema durante a propagação direta. Algumas áreas são sensíveis e outras não. Mas no processo de retropropagação, se um número negativo for inserido, o gradiente será completamente zero;
[Problema Dead ReLU] Os neurônios ReLU são relativamente fáceis de "morrer" durante o treinamento. Durante o treinamento, se um neurônio ReLU na primeira camada oculta não puder ser ativado em todos os dados de treinamento após uma atualização de parâmetro inadequada, o gradiente dos próprios parâmetros do neurônio será sempre 0, nunca poderá ser ativado durante o processo de treinamento subsequente. Esse fenômeno é chamado de problema ReLU morto e também pode ocorrer em outras camadas ocultas.
Não centrado em zero: Semelhante à função de ativação Sigmoid, a saída da função ReLU não é centrada em zero e a saída da função ReLU é 0 ou um número positivo. Introduzindo um desvio de viés para a rede neural da próxima camada afetará a eficiência da descida do gradiente.

Para cada neurônio, há uma função de ativação configurada.

Seu significado físico é: quando seu limite for grande o suficiente, ele será ativado (passado para a camada inferior), caso contrário, não será passado.

Na verdade, esse significado físico tem uma explicação da neurociência.

Portanto, a forma geral de um perceptron multicamada é:

$$h=d\left(W^{\left(0\right)}{x+b}^{\left(0\right)}\right)$$

$$o=\text{softmax}\left(W^{\left(1\right)}{horas+b}^{\left(1\right)}\right)$$

Resumir

Um perceptron multicamada é um modelo de classificação multicamada baseado em redes neurais .

Sua saída é a saída após softmax, ou seja, a saída é uma probabilidade;

Suas múltiplas camadas vêm da não linearidade da função de ativação.

A função de ativação mais comumente usada é a função Relu porque é a mais conveniente de calcular.