Aprendizaje automático - Red neuronal RBF

Red neuronal RBF

Fuentes de algunos materiales y casos en este artículo: "Análisis de 43 Casos de Redes Neuronales MATLAB"

Breve introducción de la red neuronal RBF

Antes de presentar la red neuronal RBF, echemos un vistazo a la función de base radial (RBF). En la Enciclopedia Baidu, RBF se define de la siguiente manera:

La función de base radial es una función de valor real cuyo valor depende únicamente de la distancia al origen, es decir, Φ(x)=Φ(‖x‖), o también puede ser la distancia a cualquier punto c, que es llamado punto central, es decir, Φ(x, c)=Φ(‖xc‖).

En términos simples, RBF es una función que representa la distancia desde un punto hasta un punto central en el espacio. Los RBF comúnmente utilizados incluyen principalmente los siguientes tipos: la

red neuronal que usa la función de base radial como función de activación es la red neuronal RBF, y La red neuronal RBF es un tipo de La red neuronal directa (la señal pasa hacia adelante y no regresa), es una red directa de tres capas. La primera capa de la red neuronal RBF es la capa de entrada, que se compone de nodos de fuente de señal; la segunda capa es la capa oculta, y la función de transformación de neuronas en la capa oculta es la función de base radial; la tercera capa es la salida capa, que realiza la respuesta de entrada de patrón.
El texto anterior puede resultar algo abstracto, a continuación, tomemos la siguiente figura como ejemplo para hablar de lo que es la red neuronal RBF:
La siguiente figura es un modelo simple de red neuronal de base radial:

Como se puede observar en la figura, la función de activación de la red neuronal de base radial toma como variable independiente la distancia entre el vector de entrada y el vector de peso. Es decir, la entrada de datos a la capa oculta es la variable de entrada $\vec{X}=[X_{},X_{},\dots ,X_{}]$ y el vector de peso$\vec{W}=[w_{},w_{},\dots ,w_{}]$ , generalmente toma$||reyost||=\sqrt{{\sum }_{yo=1}^{}(X_{}-wyo{)}^2}$. b en la figura es el umbral, cuando $||dist||Cuando$ el valor es menor que b, la red neuronal no se activará para ajustar la sensibilidad de la red neuronal, mientras que el vector de peso$\vec{W}$Este es el centro de datos que encontramos.

La función de activación de la capa oculta generalmente toma una función Gaussiana: $f\left(x\right)={mi}^{-\frac{}{2p{\_}^2}{X}^2}$ , donde$\sigma$ es
la varianza de la función gaussiana, que es una constante. La salida de cada nodo en la capa oculta es la entrada$||dist||El$ valor de la función transformado por la función de activación.

En cuanto a la salida y, dado que este modelo tiene solo una salida y la capa oculta tiene solo un nodo, entonces $y={mi}^{-\frac{}{2p{\_}^2}||reyost|{|}^2}$

Para una red neuronal de base radial más compleja, su capa oculta tiene múltiples nodos y su estructura es la siguiente:

en este momento, la capa oculta tiene múltiples salidas a la capa de salida, y la salida de la capa de salida es la salida de la capa de salida. capa oculta El promedio lineal ponderado de , para distinguir el vector de peso de la capa de entrada, usamos $w_i^{}$Representa el peso del i-ésimo nodo de capa oculta, por lo que la salida de la capa de salida es $y=otutptut\left({\sum }_{yo=1}^{}{w}_i^{}RBF\right(\vec{X},{\vec{W}}_{}))$ ,${\vec{W}}_{}$Es el vector de punto central del i-ésimo nodo de capa oculta. La función de salida () necesita usar diferentes funciones de acuerdo con diferentes escenarios. Por ejemplo, podemos usar la función de signo () para la clasificación binaria.
Una estructura de red neuronal más general es una estructura en la que la capa de salida de la capa oculta contiene varios nodos. El principio no es muy diferente de la estructura simple anterior, por lo que no se presentará aquí.

Pasos del algoritmo de red neuronal RBF

El algoritmo de aprendizaje de la red neuronal RBF necesita resolver tres parámetros: el vector central $\vec{W}$, varianza $\sigma$ y los pesos de la capa oculta a la capa de salida. De acuerdo con los diferentes métodos de selección del centro de función de base radial, la red neuronal RBF tiene diferentes métodos de aprendizaje. A continuación, se presentará el método de aprendizaje de la red neuronal RBF del centro de selección autoorganizado. El método consta de dos etapas: una es la etapa de aprendizaje autoorganizado, que es un proceso de aprendizaje sin tutor, y se resuelven las funciones de vector centro y varianza de la base de la capa oculta; pesos intermedios.

Usamos la función gaussiana como la función de activación de la red neuronal de base radial, luego la función de activación se puede expresar como:
$R({\vec{X}}^{pag}-{\vec{W}}^{yo})={mi}^{-\frac{||{\vec{X}}^{pag}-{\vec{W}}^{yo}|{|}^{}}{2p{\_}^2}}$
$$\begin{gathered} w_{}es\; el\; centro\; de\; la\; función\; gaussiana \\ ||x{\_}_{}-w_{}||es\; la\; norma\; euclidiana \\ \sigma es\; la\; varianza\; de\; la\; función\; gaussiana \\ {\vec{X}}^{pag}=[X_1^{},X_2^{},\dots ,X_{metro}^{}]es\; lap-ésimamuestra\; de\; entrada \\ {\vec{W}}^i=[w_1^{},w_2^{},\dots ,w_{metro}^{}]es\; el\; vector\; central\; de\; lai-ésima\; función\; de\; base\; radial\; del\; nodo\; de\; capa\; oculta \\ pag=1,2,\dots ,P,Pes\; el\; número\; total\; de\; muestras \end{gathered}$$

La salida de la red neuronal radial es:
$y_{}={\sum }_{yo=1}^{}{w}_{yo}^{}{mi}^{-\frac{||{\vec{X}}^{pag}-{\vec{W}}^{yo}|{|}^{}}{2p{\_}^2}}$
$$\begin{gathered} w_{yo}^{}es\; el\; peso\; desde\; el\; i-ésimo\; nodo\; enla\; capa\; oculta\; hastael\; j-ésimo\; nodo\; en\; la\; capa\; de\; salida \\ i=1,2,\dots ,hes\; el\; número\; de\; nodos\; de\; capa\; oculta \\ {y}_{}es\; la\; salida\; real\; del\; j-ésimonodo\; de\; salida \end{gathered}$$$de\; la\; red\; neuronal\; .$
Los pasos específicos del algoritmo son los siguientes:
Paso 1: Calcular el centro de la función base según el método de agrupamiento de K-medias:

1. Inicialización de red: seleccionar aleatoriamente h muestras de entrenamiento como centros de clúster $C_{}(yo=1,2,\dots ,h)$ ;
2. Agrupe el conjunto de muestra de entrenamiento de entrada de acuerdo con la regla del vecino más cercano: es decir, de acuerdo con la muestra ${\vec{X}}^{La\; distancia\; euclidiana\; entre\; p}$ y el centro del conglomerado seleccionado asigna muestras a diferentes conjuntos${\varrho }_{}(yo=1,2,\dots ,h);$ _
3. Reajuste el centro del conglomerado: calcule el valor medio de las muestras de entrenamiento en cada conjunto y utilice estos valores medios como el nuevo centro del conglomerado. Si el nuevo centro del conglomerado no cambia, el ci $C_{}$Es el centro de función base final $W^i$ , de lo contrario, devuelva 2 para la próxima ronda de cálculo central.
   Paso 2: Resuelve la varianza$\sigma$ :
   La fórmula para calcular la varianza de la función gaussiana es la siguiente:
   $pag=\frac{W_{máximo}}{\sqrt{2h\_}}$
   $W_{máximo}es\; la\; distancia\; máxima\; entre\; los\; centros\; de\; clúster\; seleccionados,hes\; el\; número\; de\; nodos\; en\; la\; capa\; oculta$
   Paso 3: Calcular el peso entre la capa oculta y la capa de salida:
   $w_{}={mi}^{\frac{}{C_{máx.}^{}}||{\vec{X}}^{pag}-{\vec{W}}^{yo}|{|}^2},yo=1,2,\dots ,H;pag=1,2,\dots ,P$
   De la fórmula anterior, podemos ver que j=p, es decir, el número de muestras de entrada es igual al número de resultados de salida.

Ajuste de curvas usando la red neuronal RBF

Para funciones relacionadas, consulte la documentación de Matlab:
newrb(P,T,goal,spread,MN,DF);
net = newrbe(P,T,spread);
A = radbas(N,FP);
el código es como sigue:

%% Matlab神经网络43个案例分析
 
%% 清空环境变量
clc
clear
%% 产生训练样本（训练输入，训练输出）
% ld为样本例数
ld=400; 

% 产生2*ld的矩阵 
x=rand(2,ld); 

% 将x转换到[-1.5 1.5]之间
x=(x-0.5)*1.5*2; 

% x的第一行为x1，第二行为x2.
x1=x(1,:);
x2=x(2,:);

% 计算网络输出F值
F=20+x1.^2-10*cos(2*pi*x1)+x2.^2-10*cos(2*pi*x2);

%% 建立RBF神经网络 
% 采用approximate RBF神经网络。spread为默认值
net=newrb(x,F);

%% 建立测试样本

% generate the testing data
interval=0.1;
[i, j]=meshgrid(-1.5:interval:1.5);
row=size(i);
tx1=i(:);
tx1=tx1';
tx2=j(:);
tx2=tx2';
tx=[tx1;tx2];

%% 使用建立的RBF网络进行模拟，得出网络输出
ty=sim(net,tx);

%% 使用图像，画出3维图

% 真正的函数图像
interval=0.1;
[x1, x2]=meshgrid(-1.5:interval:1.5);
F = 20+x1.^2-10*cos(2*pi*x1)+x2.^2-10*cos(2*pi*x2);
subplot(1,3,1)
mesh(x1,x2,F);
zlim([0,60])
title('真正的函数图像')

% 网络得出的函数图像
v=reshape(ty,row);
subplot(1,3,2)
mesh(i,j,v);
zlim([0,60])
title('RBF神经网络结果')


% 误差图像
subplot(1,3,3)
mesh(x1,x2,F-v);
zlim([0,60])
title('误差图像')

set(gcf,'position',[300 ,250,900,400])