Princípio da aprendizagem profunda ----- rede neural totalmente conectada

Diretório de artigos da série

Princípios de aprendizagem profunda ----- método de regressão linear + gradiente descendente Princípios
de aprendizagem profunda ----- algoritmo de regressão logística
Princípios de aprendizagem profunda ----- rede neural totalmente conectada Princípios
de aprendizagem profunda ----- convolucional
profundidade da rede neural Princípio de aprendizagem ----- rede neural recorrente (RNN, LSTM)
previsão de séries temporais ----- com base no algoritmo de rede neural BP, LSTM, CNN-LSTM, previsão de carga elétrica de recurso único
previsão de séries temporais (multi -recursos) --- --- Previsão de carga de eletricidade com vários recursos com base no algoritmo de rede neural BP, LSTM, CNN-LSTM

---

Série de vídeos didáticos

Introdução rápida ao aprendizado profundo e ao combate real
[ensino prático] com base na previsão de carga de eletricidade de recurso único da rede neural BP
[ensino prático] com base na previsão de carga de eletricidade de recurso único da rede neural RNN, LSTM
[ensino prático] com base na rede neural CNN-LSTM consumo de eletricidade de recurso único Previsão de carga
[previsão de vários recursos] Previsão de carga elétrica de vários recursos com base na rede neural BP
[previsão de vários recursos] Previsão de carga de energia de vários recursos com base em RNN e LSTM [Multi -previsão de recursos
] Previsão de carga de energia com vários recursos baseada na rede CNN-LSTM

---

---

prefácio

  A rede neural totalmente conectada é o primeiro modelo de rede neural que a maioria das pessoas aprende sobre aprendizado profundo. Embora essa rede neural tenha sido proposta há muito tempo, é muito importante no aprendizado profundo. A razão mais importante é que o algoritmo de retropropagação é usado para atualizar os parâmetros, de modo que a rede neural possa atingir o objetivo de aprendizado contínuo, alimentando dados continuamente para atualizar os parâmetros. O algoritmo backpropagation é uma implementação específica do método gradiente descendente em uma rede neural profunda. O princípio é usar o método de gradiente descendente para atualizar continuamente os parâmetros da rede neural. Atualmente, quase todos os parâmetros da rede neural são atualizados usando o método de gradiente descendente ou o método otimizado de gradiente descendente.
  Como mencionado acima, quase todas as redes neurais atualmente usam o algoritmo de retropropagação para atualizar os parâmetros da rede neural, como a rede neural convolucional CNN, que pode resolver bem a extração de recursos de imagem e aprender bem as séries temporais. A rede neural de informações do ciclo RNN , a atualização de seus parâmetros de rede para ajustar os dados existentes é o algoritmo de retropropagação, portanto, o algoritmo de retropropagação não é exclusivo para a rede neural totalmente conectada, mas é comumente usado por redes neurais convencionais Um método de atualização de parâmetros é precisamente por causa da retropropagação algoritmo, a rede neural pode aprender continuamente informações úteis dos dados, de modo que a rede neural totalmente conectada é a base para o aprendizado profundo.
  Então, o que as redes neurais podem nos ajudar a fazer? A partir dos problemas atuais que podem ser resolvidos, podemos dividir as tarefas em duas categorias, uma de classificação e a outra de regressão. A tarefa de classificação é aprender as características dos dados de entrada e a saída é prever a categoria correspondente aos dados de entrada. Por exemplo, insira alguns dados de gato e cachorro e aprenda. Agora insira uma nova imagem e julgue se a imagem na foto é um gato ou um cachorro. A tarefa de regressão é aprender as características dos dados de entrada, e a saída é o valor previsto correspondente aos dados de entrada, como inserir recursos relacionados a dados climáticos históricos para aprendizado, agora inserir um pedaço de dados de recursos relacionados a dados climáticos históricos e emitir o valor de previsão de temperatura do segundo dia.

---

1. Estrutura básica da rede neural totalmente conectada

  Embora a rede neural totalmente conectada pareça um conceito biológico, sua essência é um monte de modelos matemáticos, e o modelo de rede neural totalmente conectada é composto de uma camada de entrada, uma camada oculta e uma camada de saída. A estrutura da rede neural totalmente conectada é o seguinte Como mostrado:

  Cada camada da rede neural é composta de neurônios, desde que você entenda a natureza dos neurônios, você pode entender a rede neural totalmente conectada. Conforme mostrado na figura, este é um diagrama de modelo de um neurônio de rede neural totalmente conectado.

  A expressão matemática desse neurônio é a seguinte: $$a=h(w\ast x+b)$$   b é chamado de bias, que é usado para controlar a facilidade com que os neurônios são ativados, e w é um parâmetro que representa o peso de cada sinal, que é usado para controlar a importância de cada sinal, e h() é uma ativação função, que é uma função não linear.
  Parece que essa expressão matemática não é tão complicada. Após observação cuidadosa, de fato, a expressão de dados desse neurônio é muito semelhante à expressão matemática do modelo linear, mas o resultado de saída do modelo linear é calculado por uma função de ativação na saída. Adicionar uma função de ativação deve ser significativo. Existem muitos tipos de funções de ativação, mas todas elas têm uma característica comum: as funções de ativação não são lineares.
  Então, por que a rede neural precisa adicionar uma função de ativação e por que a função de ativação deve ser não linear? Em termos da estrutura da rede neural, a rede neural é dividida em uma camada de entrada, uma camada oculta e uma camada de saída; a camada oculta aqui é formada pela conexão de uma ou mais camadas da rede neural.
  A entrada da camada oculta é a camada de entrada ou a saída da camada oculta anterior. Se uma função não linear não for usada como função de ativação, não importa o quanto o número de camadas da rede neural seja aprofundado, não importa quantas camadas ocultas existem, sempre haverá "Redes neurais sem camadas ocultas" eficientes.
  Para entender isso concretamente, considere o seguinte exemplo simples.
  Aqui consideramos a função linear h(x)=cx como a função de ativação, e a operação de y(x)=h(h(h(x))) corresponde a uma rede neural de 3 camadas. Esta operação executará y ( x ) =$e\left(x\right)=c\ast c\ast c\ast A\; operação\; de\; multiplicação\; de\; x$ , mas o mesmo tratamento pode ser feito por y(x)=ax (observe que aqui$a=c\ast \ast 3$ ) uma operação de multiplicação (nem uma rede neural sem camada oculta) para representar. Como mostra este exemplo, os benefícios das redes multicamadas não podem ser explorados ao usar funções lineares. Portanto, para aproveitar as vantagens trazidas por múltiplas camadas ocultas, a função de ativação deve usar uma função não linear.

---

2. Função de ativação

  O papel das funções de ativação em redes neurais e a necessidade delas são apresentados acima. Vamos apresentar algumas funções de ativação comumente usadas em redes neurais; as funções de ativação mais comumente usadas em redes neurais são função sigmóide, função Tanh, função ReLU, função Leaky ReLU , função softmax.

2.1. Função sigmoide

  A função Sigmóide foi mencionada pela primeira vez na regressão logística e apareceu como uma solução para o problema da classificação binária. Sua faixa de valores está entre [0,1], e o valor de saída pode ser usado como a probabilidade de classificação. A fórmula e a derivada da função sigmóide são as seguintes: $$y=\frac{}{1+e^{-z}}\Rightarrow y^{\prime }=y(1-y{)}^{\prime }$$   A imagem da função correspondente e a imagem derivada correspondente são mostradas na figura abaixo:Vantagens da função Sigmóide:
  1. Simples e muito adequada para tarefas de classificação;
Desvantagens da função Sigmóide:
  1. Há um problema de desaparecimento do gradiente durante o treinamento de retropropagação;
  2 . Valor de saída O intervalo é (0,1), que é assimétrico em torno de 0;
  3. A atualização do gradiente vai longe demais em direções diferentes, dificultando a otimização e consumindo tempo de treinamento

2.2. Função Tanh

  Tanh, seu valor de saída está no intervalo [-1,1]. A expressão da função e sua correspondente expressão derivada são as seguintes: $$y=\frac{e^z-e^{-z}}{e^z+e^{-z}}\Rightarrow y^{\prime }=1-y^2$$

Vantagens da função Tanh:
  1. Resolva o problema de que o valor de saída da função Sigmóide é simétrico diferente de zero.
  2. O treinamento é mais rápido que a função Sigmóide e mais fácil de convergir.
Desvantagens da função Tanh:
  1. Há um problema de desaparecimento do gradiente durante o treinamento de retropropagação
  2. Função Tanh Muito semelhante à função Sigmóide.

2.3. Função ReLU

  A função ReLU é atualmente a função de ativação mais popular usada em redes neurais. A expressão de sua função e sua derivada correspondente são muito simples: $$y=\{\begin{array}{ll}z& \text{ se }z>0\\ & \text{ se }z<=\end{array}⟹y^{\prime }=\{\begin{array}{ll}1& \text{ se }z>0\\ & \text{ se }z<=\end{array}$$
Vantagens da função ReLU:
  1. Resolve o problema do desaparecimento do gradiente
  2. O cálculo é mais simples, sem a operação exponencial da função Sigmoid e da função Tanh
Desvantagens da função ReLU:
  1. Pode ocorrer morte de neurônios durante o treinamento;

2.4, função Leaky ReLU

  A função Leaky ReLU é uma variante da função ReLU. As expressões de suas funções e derivadas correspondentes são: $$y=\{\begin{array}{ll}z& \text{ se }z>0\\ & \text{ se }z<=\end{array}⟹y^{\prime }=\{\begin{array}{ll}1& \text{ se }z>0\\ & \text{ se }z<=\end{array}$$

Vantagens da função Leaky ReLU:
  1. Resolva o problema da morte do neurônio de ReLU;
Desvantagens da função Leaky ReLU:
  1. Não é possível fornecer previsão de relacionamento consistente para valores de entrada positivos e negativos (diferentes funções de intervalo são diferentes)

2.5, função de ativação SoftMax

  A função SoftMax é geralmente usada em modelos de rede multiclassificação. Sua expressão: $$y_{}=\frac{e^{z_{}}}{{\sum }_{}{e}^{z_{}}}⟹y_{eu}^{}=y_{}\left(1-y_{}\right)$$   O intervalo de valores da função SoftMax está entre [0,1], e há várias saídas, como uma tarefa de 5 categorias, então a saída final da função SoftMax é a probabilidade correspondente a cada categoria, e essas 5 A probabilidades correspondentes às categorias somam 1. Portanto, no cenário de tarefas de multiclassificação, a última camada da rede neural geralmente usa a função SoftMax como função de ativação.

---

3. Propagação direta

  A saída da rede neural é finalmente produzida através da propagação direta. A propagação direta é usar os recursos de dados como entrada, inseri-los na camada oculta, multiplicar os recursos de dados e os pesos correspondentes e, em seguida, somar o viés e calcular o resultado é ativado pela função de ativação, e o valor de saída da função ativada pela função de ativação é usado como a entrada da próxima camada da camada de rede neural, então multiplicado pelo peso correspondente e somado com o viés correspondente e, em seguida, o calculado resultado é executado pela função de ativação.Ativação, repita o processo acima até a camada de saída da rede neural e, finalmente, obtenha o valor de saída da rede neural.
  Podemos entender o modelo de rede neural como uma caixa preta, inserir dados na caixa preta e obter um resultado de saída calculado pela caixa preta (claro que esse resultado é razoável e satisfatório); por exemplo, usando uma rede neural para fazer uma classificação digital Inserimos uma imagem do número 8, esperamos passar no cálculo do modelo de rede neural e a saída final é me dizer que o número nesta imagem é 8. Por exemplo, inserimos informações pessoais como altura, peso, sexo, educação, tempo de serviço e direção profissional de uma pessoa na rede neural. Por meio do cálculo da rede neural, a rede neural pode gerar a renda anual da pessoa para um ano. Aqui, o processo de entrada de dados na rede neural e saída dos resultados do cálculo da rede neural é chamado de propagação direta da rede neural.
  Vamos dar uma olhada no processo de cálculo específico da propagação do item anterior da rede neural. Conforme mostrado na figura abaixo, o modelo de rede neural consiste em uma camada de entrada, duas camadas ocultas e uma camada de saída.

  Neurônios $a_{},a_{}$计算公式如下: $$\begin{array}{rl}& a_{}=\mathrm{sigmoide}\left(x_{}{c}_{}+x_{}{c}_{}+b_{}\right)\\ & a_{}=\mathrm{sigmoide}(x_{}{c}_{}+x_{}{c}_{}+b_{}\end{array}$$  A fórmula de cálculo dos neurônios na camada de saída é a seguinte: $$\begin{array}{c}{a}_{}=\mathrm{retomar}\left({um}_{}{c}_{}+a_{}{c}_{}+b_{}\right)\\ y=a_{}\end{array}$$  Entre eles $c_{},c_{},c_{},c_{},c_{},c_{},b_{},b_{},b_{}$As camadas ocultas correspondem aos pesos e vieses de entrada.

3.1. Caso 1

  Abaixo, usamos um exemplo específico para realizar a propagação direta da rede neural. A figura a seguir é uma cadeia de rede neural em um modelo de rede neural, que contém um caminho de entrada de propagação direta da rede neural da entrada para a saída, um completo A propagação direta do modelo de rede neural é composto por muitas dessas cadeias de propagação.

  Aqui assume-se que a função de ativação usada pelo primeiro nó de neurônio é sigmóide, e a função de ativação usada pelo segundo neurônio é relu. Neste momento, o processo de cálculo específico da propagação direta é o seguinte: a 11 = sigmóide ⁡ ( x 1 w $$\begin{array}{c}{a}_{}=\mathrm{sigmoide}\left(x_{}{c}_{}+b_{}\right)\\ a_{}=\text{ retomar }\left({um}_{}{c}_{}+b_{}\right)\\ y=a_{}\end{array}$$
  Neste momento, assume-se que a saída da rede neural $x_{}=1$ , o rótulo correspondente à entrada do recurso da rede neural é 2. Ao mesmo tempo, os parâmetros da rede neural são inicializados e os valores inicializados são$c_{}=\mathrm{0,5},c_{}=1,b_{}=\mathrm{0,5},b_{}=1$ . Portanto, o processo de cálculo específico é o seguinte:$$\begin{array}{c}{a}_{}=\mathrm{sigmóide}(1\times \mathrm{0,5}+\mathrm{0,5})\\ =\mathrm{0,731}\\ a_{}=\mathrm{relu}(\mathrm{0,731}\times 1+1)\\ =1.731\\ y=\end{array}$$  Os valores de w e b dados no exemplo são valores inicializados, ou seja, valores aleatórios. Obviamente, há uma pequena diferença entre o valor y de saída e o valor real do rótulo, portanto, desde que um método seja encontrado, o w preciso pode ser obtido. e b, então o y calculado pela propagação direta será infinitamente próximo ao valor do rótulo (ou igual ao valor do rótulo). Existe alguma maneira de nos ajudar a encontrar o peso w e o viés b na rede neural? A resposta é sim, esse método é o método de descida de gradiente, e o método de retropropagação é a implementação específica do método de descida de gradiente na rede neural profunda.

---

4. Retropropagação

  Já explicamos o método de descida de gradiente em detalhes quando falamos sobre regressão linear. Você pode consultar o artigo que ensina aprendizado profundo e combate real ----- regressão linear + método de descida de gradiente para saber mais sobre o método de descida de gradiente • Uma compreensão mais nuançada.
  Em primeiro lugar, o método de gradiente descendente precisa de uma função de perda. Use esta função de perda para calcular o erro de perda entre o valor de saída da propagação direta e o valor verdadeiro do rótulo. As funções de perda atualmente mais utilizadas são o erro quadrático médio e o erro de entropia cruzada.
  A função de erro quadrático médio é freqüentemente usada em problemas de regressão. A função de perda do erro quadrático médio é a seguinte: $$J\left(x\right)=\frac{}{2m\_}\sum _{eu=1}{\left(f\left(x_{}\right)-y_{}\right)}^2$$  其中$f\left(x_{}\right)$ é o valor de saída calculado pela rede neural por meio da propagação direta,$x_{}$são os dados do recurso de entrada, $y_{}$é o rótulo correspondente ao recurso dos dados de entrada. Portanto, o erro entre o valor de saída da rede neural de cálculo e o rótulo real pode ser usado.
  A função de perda de entropia cruzada é freqüentemente usada em problemas de classificação. A fórmula da função de perda de entropia cruzada é a seguinte: $$J_{(x}=-\frac{}{m}\sum _{eu=1}\left(y_{}poucotempop\left(w^{\top }{x}_{}+b\right)+\left(1-y_{}\right)poucotempo\left(1-p\left(w^{\top }{x}_{}+b\right)\right)\right)$$  其中$p\left(w^{\top }{x}_{}+b\right)$ é uma função sigmoide,$x_{}$são os dados do recurso de entrada, $y_{}$é o rótulo correspondente ao recurso dos dados de entrada.
  É precisamente por causa do erro de perda entre o valor de saída e o valor real da rede neural que o método de gradiente descendente usa a perda para atualizar os parâmetros e, finalmente, a retropropagação da rede neural atualiza continuamente o w e b do neural rede, de modo que a rede neural A saída da rede e o rótulo real se aproximam constantemente, e a função de perda também se aproxima constantemente de 0. No entanto, em projetos reais, devido ao ruído nos dados, o valor da perda continuará se aproximando de 0 sob a atualização constante dos parâmetros, mas não pode ser igual a 0, por isso geralmente desenhamos as rodadas de treinamento do modelo e o alteração do valor da perda para mostrá-la.Se a perda Após um determinado número de rodadas, o valor tende a ser plano e não cai mais, considera-se que o treinamento do modelo convergiu. Conforme mostrado na figura abaixo:   Pode ser visto na figura que o valor de perda do modelo de rede neural convergiu quando é cerca de 100. O valor de perda do modelo de treinamento subsequente tende a ser estável e não diminui mais, e o valor de perda do modelo também tende a 0.
  Agora que a função de perda está disponível, a função de perda pode ser usada para atualizar os parâmetros do modelo de rede neural. A fórmula para atualizar os parâmetros do método de gradiente descendente é a seguinte: w = w − a ∂ J ( w ) ∂ wb = $$\begin{array}{rl}& c=c-a\frac{\partial J(w}{\partial w}\\ & b=b-a\frac{\partial J(b}{\partial b}\end{array}$$  Dentre eles, α é a taxa de aprendizado. A taxa de aprendizado não pode ser nem muito grande nem muito pequena. Se for muito grande, pode fazer com que os parâmetros pulem o valor que minimiza a função de perda. Se for muito pequeno, pode fazer com que a atualização do parâmetro seja muito lenta. Após o término do treinamento, o modelo ainda não convergiu. Normalmente, a taxa de aprendizado é de 0,01 ou 0,001.

4.1, regra da cadeia

  No método gradiente descendente de regressão linear e regressão logística para resolver o gradiente, a regra da cadeia é usada para resolver o gradiente. A regra da cadeia é um importante ponto de conhecimento em matemática avançada e também é o conhecimento básico de retropropagação para atualização de parâmetros. A regra da cadeia é dividida em regra da cadeia univariada e regra da cadeia multivariada. Sua essência é resolver o problema de derivação de funções compostas.
  Regra da cadeia univariada:
  suponha que quando $y$为uufunção de$u$$u$ paravvfunção de$v$$v$ paraxxQuando a função de$x$$e$ sobrexxDerivada de$x\; .$A fórmula específica deve ser a seguinte:   $$\frac{você}{dx}=\frac{você}{devocê}\frac{de}{dv\_}\frac{dv}{dx}$$  Usamos um exemplo específico para usar a regra de derivação em cadeia para derivação.
  Existe uma função $z={você}^2$，同时$você=2-y,y=4x$ , encontre$z$ sobre$x$的导数。$$\begin{array}{rl}\frac{d}{dx}& =\frac{d}{devocê}\cdot \frac{de}{você\_}\cdot \frac{você}{dx}\\ & =2e\times (-1)\_\times 4\\ & =-8u\_\end{array}$$  同时：$$\begin{array}{c}você=2-y,y=4x\_\_\\ você=2-4x\_\end{array}$$  因此：$$\begin{array}{rl}\frac{d}{dx}& =-8u\_\_\\ & =-8\times (2-4x)\_\\ & =32x\_-\end{array}$$  Usando a fórmula acima, a derivação em cadeia da função composta de variável única é executada.Vamos dar uma olhada na regra de derivação em cadeia multivariada.
  Assumindo que a variável z é uma função de u e v, u e v são funções de y e y é uma função de x, encontre a derivada de z em relação a x. $$\frac{\partial }{\partial x}=\frac{\partial }{\partial você}\cdot \frac{\partial }{\partial y}\cdot \frac{\partial }{\partial x}+\frac{\partial }{\partial v}\cdot \frac{\partial v}{\partial y}\cdot \frac{\partial }{\partial x}$$  Existe uma função $z={você}^2+v^3$，同时$você=2-y,v=4+y,y=4x$ . ∂ v ∂ y ⋅
  ∂$$\begin{array}{rl}\frac{\partial }{\partial x}& =\frac{\partial }{\partial você}\cdot \frac{\partial \mu }{\partial y}\cdot \frac{\partial }{\partial x}+\frac{\partial }{\partial v}\cdot \frac{\partial v}{\partial y}\cdot \frac{\partial }{\partial x}\\ & =2e\times (-1)\_\times 4+3v^2\times 1\times 4\\ & =-8u\_\_+12v^{}\end{array}$$  Também porque: $$você=2-4x,V=4+4x$$  解得：$$\frac{\partial }{\partial x}=192x{\_}^2+542x+Acima\; de\; 176$$   está o processo de cálculo e as regras da regra da cadeia.

4.2. Caso 2

  Eu aprendi sobre a regra de derivação da regra da cadeia da função composta antes, e agora posso usar a regra da derivação da cadeia para resolver o gradiente dos parâmetros de rede neural correspondentes, de modo a usar o método de descida do gradiente para retropropagação para atualizar os parâmetros. Na explicação do caso anterior de propagação direta, uma cadeia de rede neural foi usada para calcular a propagação direta e agora a mesma cadeia de rede neural é usada para explicar os parâmetros de retropropagação. Pode ser visto na figura que a cadeia de rede neural tem um total de 4 parâmetros, ou seja, $c_{},c_{},b_{},b_{}$, e os quatro parâmetros e o valor de entrada x_1 têm valores iniciais correspondentes, respectivamente, que são $c_{}=\mathrm{0,5},c_{}=1,b_{}=\mathrm{0,5},b_{}=1,x_{}=1$ . Ao mesmo tempo, y = 1,731 calculado pela propagação direta e o valor do rótulo é 2. Agora use o erro entre o valor de saída calculado pela propagação direta da rede neural e o rótulo de valor real para executar a propagação reversa para atualizar o gradiente.   A função de perda aqui usa a função de perda de erro quadrado médio. Primeiro, o erro é calculado para o parâmetro mais próximo$c_{},b_{}$O gradiente de:$$\begin{array}{rl}\frac{\partial J(w_{}}{\partial w_{}}& =\frac{\partial J(w_{}}{\partial y}\cdot \frac{\partial }{\partial {um}_{}}\cdot \frac{\partial {um}_{}}{\partial w_{}}\\ & =\frac{\partial \frac{}{2}(y-2{)}^{}}{\partial y}\times \frac{\partial {um}_{}}{\partial {um}_{}}\times \frac{\partial relu({um}_{}{c}_{}+b_{}}{\partial w_{}}\\ & =(y-2)\times 1\times \frac{\partial \mathrm{retomar}({um}_{}{c}_{}+b_{}}{\partial \left({um}_{}{c}_{}+b_{}\right)}\times \frac{\partial ({um}_{}{c}_{}+b_{}}{\partial w_{}}\\ & =(y-2)\times a_{}\times \frac{\partial relu({um}_{}{c}_{}+b_{}}{\partial \left({um}_{}{c}_{}+b_{}\right)}\end{array}$$  Porque: $$a_{}{c}_{}+b_{}=1.731>0$$  所以：$$\frac{\partial \mathrm{retomar}({um}_{}{c}_{}+b_{}}{\partial \left({um}_{}{c}_{}+b_{}\right)}=1$$  最终：$$\begin{array}{rl}\frac{\partial J(w_{}}{\partial w_{}}& =(y-2)\times a_{}\\ & =(1.731-2)\times \mathrm{0,731}=-\end{array}$$  Da mesma forma, pode-se obter: $$\frac{\partial J(b_{}}{\partial b_{}}=-\mathrm{0,269}$$   Em seguida, calcule os dois parâmetros mais distantes do erro$c_{},b_{}$O gradiente de:$$\begin{array}{rl}& \frac{\partial J(w_{}}{\partial w_{}}=\frac{\partial J(w_{}}{\partial y}\cdot \frac{\partial }{\partial {um}_{}}\cdot \frac{\partial {um}_{}}{\partial {você}_{}}\cdot \frac{\partial {um}_{}}{\partial w_{}}\\ & =\frac{\partial \frac{}{2}(y-2{)}^{}}{\partial y}\cdot \frac{\partial {um}_{}}{\partial {um}_{}}\cdot \frac{\partial relu({um}_{}{c}_{}+b_{}}{\partial {um}_{}}\cdot \frac{\partial \mathrm{sigmoide}(x_{}{c}_{}+b_{}}{\partial w_{}}\\ & =(y-2)\times 1\times \frac{\partial \mathrm{retomar}({um}_{}{c}_{}+b_{}}{\partial \left({um}_{}{c}_{}+b_{}\right)}\cdot \frac{\partial ({um}_{}{c}_{}+b_{}}{\partial {um}_{}}\cdot \frac{\partial \mathrm{sigmoide}(x_{}{c}_{}+b_{}}{\partial w_{}}\\ & =(y-2)\times c_{}\cdot \frac{\partial \mathrm{sigmoide}(x_{}{c}_{}+b_{}}{\partial w_{}}\\ & =(y-2)\times c_{}\times \mathrm{sigmoide}\left(x_{}{c}_{}+b_{}\right)(1-\mathrm{sigmoide}\left(x_{}{c}_{}+b_{}\right)x_{}\\ & =(1.731-2)\times 1\times \mathrm{0,731}\times (1-\mathrm{0,731})\times 1\\ & =-\mathrm{0,269}\times \mathrm{0,731}\times \mathrm{0,269}\times 1\\ & =-\end{array}$$  Da mesma forma, pode ser calculado: $$\frac{\partial J(b_{}}{\partial b_{}}=-\mathrm{0,052895}$$   Através do cálculo acima, o valor do gradiente do parâmetro correspondente pode ser obtido da seguinte forma:$$\frac{\partial J(w_{}}{\partial w_{}}=-\mathrm{0,196639},\frac{\partial J(b_{}}{\partial b_{}}=-\mathrm{0,269},\frac{\partial J(w_{}}{\partial w_{}}=-\mathrm{0,052895},\frac{\partial J(b_{}}{\partial b_{}}=-\mathrm{0,052895}$$   é arredondado para 3 casas decimais para facilitar o cálculo:$$\frac{\partial J(w_{}}{\partial w_{}}=-\mathrm{0,197},\frac{\partial J(b_{}}{\partial b_{}}=-\mathrm{0,269},\frac{\partial J(w_{}}{\partial w_{}}=-\mathrm{0,053},\frac{\partial J(b_{}}{\partial b_{}}=-\mathrm{0,053}$$   Agora que o gradiente está disponível, os parâmetros podem ser atualizados usando o gradiente, assumindo que a taxa de aprendizado neste momento é 0,1. O processo de atualização de parâmetros é o seguinte:$$\begin{array}{rl}& c_{}=\mathrm{0,5}-\mathrm{0,1}\times (-\mathrm{0,053})=\mathrm{0,505}\\ & c_{}=-1-\mathrm{0,1}\times (-\mathrm{0,197})=1.020\\ & b_{}=\mathrm{0,5}-\mathrm{0,1}\times (-\mathrm{0,053})=\mathrm{0,505}\\ & b_{}=1-\mathrm{0,1}\times (-\mathrm{0,269})=\end{array}$$  Os parâmetros atualizados são: $$\begin{array}{rl}& c_{}=\mathrm{0,505}\\ & c_{}=1.020\\ & b_{}=\mathrm{0,505}\\ & b_{}=\end{array}$$  Calcule a propagação direta com os parâmetros atualizados: $$\begin{array}{c}{a}_{}=\mathrm{sigmóide}(1\times \mathrm{0,505}+\mathrm{0,505})\\ =\mathrm{0,733}\\ \begin{array}{c}{a}_{}=\mathrm{relu}(\mathrm{0,733}\times 1.02+1.027)\\ =1.775\\ y=\end{array}\end{array}$$  Neste momento, o resultado final da saída é y = 1,775. Pode-se ver que este valor está mais próximo do valor real 2 do que o valor da saída de propagação direta 1,731 sem atualizar os parâmetros anteriores. Este é o resultado após uma rodada de atualização. Continuamos a fornecer O modelo é alimentado com dados, e o modelo usa continuamente o método de descida do gradiente para realizar retropropagação para atualizar os parâmetros até que o modelo convirja e não diminua mais. Portanto, a retropropagação pode efetivamente ajudar a rede neural a aprender as informações nos dados, e o algoritmo de retropropagação também é o núcleo da rede neural.

---

Resumir

  Este artigo usa um grande número de casos e cálculos para explicar a rede neural totalmente conectada e se esforça para entender a rede neural totalmente conectada com base em casos detalhados. A rede neural totalmente conectada é a rede neural de entrada básica para aprendizado profundo. é também a rede neural de acompanhamento. Um microcosmo, porque o processo básico da rede neural é a inicialização dos parâmetros da rede neural, alimenta os dados para propagação direta, calcula o erro entre o valor de saída da rede neural e o real valor, use o erro para executar a retropropagação para atualizar os parâmetros e, em seguida, realizar continuamente a propagação direta e a retropropagação para atualizações de parâmetros até que o modelo converja. O processo subsequente de aprendizado do modelo de rede neural convolucional e rede neural cíclica também segue esse processo, mas ao aprender esses dois modelos, mais ênfase é colocada nas características do próprio modelo.