遺伝的アルゴリズム (GA) 最適化後の RBF ニューラルネットワーク最適化解析 (Matlab コード実装)

1 遺伝的アルゴリズム

2 RBFニューラルネットワーク

3 Matlab コードの実装

4 件の結果

1 遺伝的アルゴリズム

遺伝的アルゴリズムは、自然界の進化プロセスをシミュレートする最適化アルゴリズムです。生物学的進化の遺伝、交叉、突然変異のプロセスをシミュレートすることにより、最適な解決策または最適に近い解決策を検索します。

遺伝的アルゴリズムの基本的な手順は次のとおりです。

初期母集団: 初期解のセットを母集団としてランダムに生成します。

適応度評価：問題の特定の評価関数に従って、各個人の適応度が計算されます。

選択操作：適応度の大きさに応じて、一部の個体を親として選択し、次世代を生成する。

交叉操作：選択した親個体に対して交叉操作を行い、新しい個体を生成します。

突然変異操作：新たに生成された個体に対して突然変異操作を行い、新たな遺伝子を導入する。

置換操作: 元の個体を新しく生成された個体で置き換えて、新しい集団を形成します。

終了条件の判定：終了条件が満たされているかどうかを判断し、満たされている場合はアルゴリズムを停止し、そうでない場合はステップ 3 に戻ります。

遺伝的アルゴリズムの利点は、大規模な探索空間でより良い解を見つけることができることであり、さまざまな最適化問題に適しています。ただし、ランダム性に基づく特性により、局所最適解に陥る可能性があり、アルゴリズムの収束速度が遅くなります。したがって、複雑な問題の場合は、パラメータを合理的に設定し、複数回実行してより良い結果を得る必要があります。

2 RBFニューラルネットワーク

RBF ネットワークは、入力層、隠れ層、出力層を含む3 層のニューラルネットワークです。入力空間から隠れ層空間への変換は非線形ですが、隠れ層空間から出力層空間への変換は線形です。フロー図は次のとおりです。

RBF ネットワークの基本的な考え方は、RBF を隠れユニットの「ベース」として使用して隠れ層空間を形成し、重み接続を必要とせずに入力ベクトルを隠れ空間に直接マッピングできるようにすることです。RBF の中心点が決定されると、マッピング関係も決定されます。隠れ層空間から出力空間へのマッピングは線形です。つまり、ネットワークの出力は隠れユニットの出力の線形加重和であり、ここでの重みはネットワークの調整可能なパラメーターです。その中で、隠れ層の役割は、低次元の線形分離不可能な状況を高次元に線形分離可能にするために、ベクトルを低次元 p から高次元 h にマッピングすることであり、主に次のような考えがあります。カーネル関数。

このように、入力から出力までのネットワークのマッピングは非線形ですが、ネットワークの出力は調整可能なパラメーターに関して線形です。ネットワークの重みは線形方程式によって直接解くことができるため、学習速度が大幅に向上し、極小値の問題が回避されます。

3 Matlab コードの実装

GA.m

clear all
close all

G = 15;
Size = 30;
CodeL = 10;

for i = 1:3
    MinX(i) = 0.1*ones(1);
    MaxX(i) = 3*ones(1);
end
for i = 4:1:9
    MinX(i) = -3*ones(1);
    MaxX(i) = 3*ones(1);
end
for i = 10:1:12
    MinX(i) = -ones(1);
    MaxX(i) = ones(1);
end

E = round(rand(Size,12*CodeL));  %Initial Code!

BsJ = 0;

for kg = 1:1:G
    time(kg) = kg
    
    for s = 1:1:Size
        m = E(s,:);
        
        for j = 1:1:12
            y(j) = 0;
            
            mj = m((j-1)*CodeL + 1:1:j*CodeL);
            for i = 1:1:CodeL
                y(j) = y(j) + mj(i)*2^(i-1);
            end
            f(s,j) = (MaxX(j) - MinX(j))*y(j)/1023 + MinX(j);
        end
        
        % ************Step 1:Evaluate BestJ *******************
        p = f(s,:);
        
        [p,BsJ] = RBF(p,BsJ);
        
        BsJi(s) = BsJ;
    end
    
    [OderJi,IndexJi] = sort(BsJi);
    BestJ(kg) = OderJi(1);
    BJ = BestJ(kg);
    Ji = BsJi+1e-10;
    
    fi = 1./Ji;
    [Oderfi,Indexfi] = sort(fi);
    Bestfi = Oderfi(Size);
    BestS = E(Indexfi(Size),:);
    
    % ***************Step 2:Select and Reproduct Operation*********
    fi_sum = sum(fi);
    fi_Size = (Oderfi/fi_sum)*Size;
    
    fi_S = floor(fi_Size);
    
    kk = 1;
    for i = 1:1:Size
        for j = 1:1:fi_S(i)
            TempE(kk,:) = E(Indexfi(i),:);
            kk = kk + 1;
        end
    end
    
    % ****************Step 3:Crossover Operation*******************
    pc = 0.60;
    n = ceil(20*rand);
    for i = 1:2:(Size - 1)
        temp = rand;
        if pc>temp
            for j = n:1:20
                TempE(i,j) = E(i+1,j);
                TempE(i+1,j) = E(i,j);
            end
        end
    end
        TempE(Size,:) = BestS;
        E = TempE;
        
     %*****************Step 4:Mutation Operation*********************
     pm = 0.001 - [1:1:Size]*(0.001)/Size;
     for i = 1:1:Size
         for j = 1:1:12*CodeL
             temp = rand;
             if pm>temp
                 if TempE(i,j) == 0
                     TempE(i,j) = 1;
                 else
                     TempE(i,j) = 0;
                 end
             end
         end
     end
     
     %Guarantee TempE(Size,:) belong to the best individual
     TempE(Size,:) = BestS;
     E = TempE;
     %********************************************************************
 end

 
 Bestfi
 BestS
 fi
 Best_J = BestJ(G)
 figure(1);
 plot(time,BestJ);
 xlabel('Times');ylabel('BestJ');
 save pfile p;

RBF.m

function [p,BsJ] = RBF(p,BsJ)

ts = 0.001;

alfa = 0.05;
xite = 0.85;
x = [0,0]';
b = [p(1);p(2);p(3)];
c = [p(4) p(5) p(6);
    p(7) p(8) p(9)];
w = [p(10);p(11);p(12)];

w_1 = w;w_2 = w_1;
c_1 = c;c_2 = c_1;
b_1 = b;b_2 = b_1;
y_1 = 0;

for k = 1:500
    timef(k) = k*ts;
    
    u(k) = sin(5*2*pi*k*ts);
    
    y(k) = u(k)^3 + y_1/(1 + y_1^2);
    
    x(1) = u(k);
    x(2) = y(k);
    for j = 1:1:3
        h(j) = exp(-norm(x - c(:,j))^2/(2*b(j)*b(j)));
    end
    ym(k) = w_1'*h';
    
    e(k) = y(k) - ym(k);
    
    d_w = 0*w;d_b = 0*b;d_c = 0*c;
    for j = 1:1:3
        d_w(j) = xite*e(k)*h(j);
        d_b(j) = xite*e(k)*w(j)*h(j)*(b(j)^-3)*norm(x-c(:,j))^2;
        for i = 1:1:2
            d_c(i,j) = xite*e(k)*w(j)*h(j)*(x(i)-c(i,j))*(b(j)^-2);
        end
    end
    
    w = w_1 + d_w + alfa*(w_1 - w_2);
    b = b_1 + d_b + alfa*(b_1 - b_2);
    c = c_1 + d_c + alfa*(c_1 - c_2);
    
    y_1 = y(k);
    w_2 = w_1;
    w_1 = w;
    
    c_2 = c_1;
    c_1 = c;
    
    b_2 = b_1;
    b_1 = b;
end

B = 0;
for i = 1:500
    Ji(i) = abs(e(i));
    B = B + 100*Ji(i);
end

BsJ = B;

テスト.m

clear all;
close all;

load pfile;
alfa = 0.05;
xite = 0.85;
x = [0,0]';

%M为1时
M = 2;
if M == 1
    b = [p(1);p(2);p(3)];
    c = [p(4) p(5) p(6);
         p(7) p(8) p(9)];
    w = [p(10);p(11);p(12)];
elseif M == 2
    b = 3*rand(3,1);
    c = 3*rands(2,3);
    w = rands(3,1);
end

w_1 = w;w_2 = w_1;
c_1 = c;c_2 = c_1;
b_1 = b;b_2 = b_1;

y_1 = 0;

ts = 0.001;
for k = 1:1500
    time(k) = k*ts;
    
    u(k) = sin(5*2*pi*k*ts);
    y(k) = u(k)^3 + y_1/(1 + y_1^2);
    
    x(1) = u(k);
    x(2) = y(k);
    
    for j = 1:3
        h(j) = exp(-norm(x-c(:,j))^2/(2*b(j)*b(j)));
    end
    
    ym(k) = w_1'*h';
    e(k) = y(k) - ym(k);
    
    d_w = 0*w;d_b = 0*b;d_c=0*c;
    for j = 1:1:3
        d_w(j) = xite*e(k)*h(j);
        d_b(j) = xite*e(k)*w(j)*h(j)*(b(j)^-3)*norm(x-c(:,j))^2;
        for i = 1:1:2
            d_c(i,j) = xite*e(k)*w(j)*h(j)*(x(i) - c(i,j))*(b(j)^-2);
        end
    end
    
    w = w_1 + d_w + alfa*(w_1 - w_2);
    b = b_1 + d_b + alfa*(b_1 - b_2);
    c = c_1 + d_c + alfa*(c_1 - c_2);
    
    y_1 = y(k);
    w_2 = w_1;
    w_1 = w;
    c_2 = c_1;
    c_1 = c;
    b_2 = b;
    
end
figure(1);
plot(time,ym,'r',time,y,'b');
xlabel('times(s)');ylabel('y and ym');

pfile.mat

p: [2.9915 2.9008 2.4982 1.0059 1.1056 0.8006 0.4780 1.6100 -1.3460 -0.7204 0.4076 0.2786]