コードを使用した粘菌アルゴリズムに基づくエクストリーム ラーニング マシン (ELM) 回帰予測

粘菌アルゴリズムに基づくエクストリーム ラーニング マシン (ELM) 回帰予測

要約: この論文では、粘菌アルゴリズムを使用して極端な学習マシンを最適化し、回帰予測に使用します。

1. 極限学習機の原理概要

典型的な単一の隠れ層フィードフォワード ニューラル ネットワーク構造を図 1 に示します.これは、入力層、隠れ層、および出力層で構成されます.入力層と隠れ層のニューロン、および隠れ層と隠れ層の間のニューロン出力層は完全に接続されています。このうち、入力層には n 個の入力変数に対応する n 個のニューロンがあり、隠れ層には l 個のニューロンがあり、出力層には m 個の出力変数に対応する m 個のニューロンがあります。一般性を失うことなく、入力層と隠れ層の間の結合の重み w を次のようにします:
$$w=\left[\begin{array}{cccc}{w}_{}& w_{}& ...& w_{1,}\\ w_{}& w_{}& ...& w_{2n}\\ ...& & & \\ w_l& w_l& & w_{ln}\end{array}\right]\text{\hspace{1em}(1)}$$
其中，$w_{}$入力層$i$ニューロンと隠れ層$j\; 個$のニューロン間の接続の重み。

隠れ層と出力層の間の結合の重みを$\beta$ :
$$b=\left[\begin{array}{cccc}{b}_{}& b_{}& ...& b_1\\ b_{}& b_{}& ...& b_2\\ ...& & & \\ b_l& b_l& & b_{私}\end{array}\right]\text{\hspace{1em}( 2 )}$$
その中で$b_{}$隠れ層の j 番目のニューロンと出力層の k 番目のニューロンの間の結合の重みを示します。

隠れ層ニューロンのしきい値 b を次のようにします:
$$b=\left[\begin{array}{c}{b}_{}\\ b_{}\\ ...\\ b_{}\end{array}\right]\text{\hspace{1em}( 3 )}$$
Q サンプルのトレーニング セットの入力行列 X と出力行列 Y を
$$バツ=\left[\begin{array}{cccc}{バツ}_{}& {バツ}_{}& ...& {バツ}_{1Q}\\ {バツ}_{}& {バツ}_{}& ...& {バツ}_{2Q}\\ ...& & & \\ {バツ}_n& {バツ}_n& & {バツ}_{nQ}\end{array}\right]\text{\hspace{1em}( 4 )}$$

KaTeX 解析エラー: 未定義の制御シーケンス: \matrix at position 11: Y =\left[\̲m̲a̲t̲r̲i̲x̲{y_{11},y_{12},…

隠れ層のニューロンの活性化関数を g(x) とすると、図 1 から、ネットワークの出力 Tは T = [ t 1 , . . , t Q ] m ∗ Q , tj となります。
$$T=[t_{}、..、t_{}{]}_{m\ast }、t_{}=[t_1、...,t_{}{]}^T={\left[\begin{array}{c}{\sum }_{私は=1}^{}{b}_{私は}g(w_{}{バツ}_{}+b_{})\\ {\sum }_{私は=1}^{}{b}_{私は}g(w_{}{バツ}_{}+b_{})\\ ...\\ {\sum }_{私は=1}^{}{b}_{}g(w_{}{バツ}_{}+b_{}\end{array}\right]}_{m\ast }、(j=1、2、...,Q)\text{\hspace{1em}( 6 )}$$
式 (6) は次のように表すことができます:
$$H\beta \_=T\text{'}\text{\hspace{1em}( 7 )}$$
このうち、T' は行列 T の転置、H はニューラル ネットワークの隠れ層出力行列と呼ばれ、具体的な形式は次のとおりです
$$H(w_{}、...,w_{}、b_{}、...,b_{}、{バツ}_{}、...,{バツ}_{})={\left[\begin{array}{cccc}g(w_{}\ast {バツ}_{}+b_{})& g(w_{}\ast {バツ}_{}+b_{})& ...& g(w_{}\ast {バツ}_{}+b_{})\\ g(w_{}\ast {バツ}_{}+b_{})& g(w_{}\ast {バツ}_{}+b_{})& ...& g(w_{}\ast {バツ}_{}+b_{})\\ ...& & & \\ g(w_{}\ast {バツ}_{}+b_{}& g(w_{}\ast {バツ}_{}+b_{}& & g(w_{}\ast {バツ}_{}+b_{}\end{array}\right]}_{Q*}$$

2.ELM学習アルゴリズム

前の分析から、ELM はトレーニングの前に w と b をランダムに生成できることがわかり、隠れ層のニューロンの数と、隠れ層とニューロンの活性化関数 (無限に微分可能) を決定するだけで、β\ を計算できます\$ベータ版$。具体的には、ELM の学習アルゴリズムには主に次のステップがあります。

(1) 隠れ層のニューロン数を決定し、入力層と隠れ層の間の接続重み w と隠れ層ニューロンのバイアス b をランダムに設定します。

(2) 中間層ニューロンの活性化関数として無限微分可能な関数を選択し、中間層出力行列 H を計算します。

(3) 出力層の重みを計算します: $b=H^{+}{T}^{」}$

関連する研究結果は、ELM で多くの非線形活性化関数 (シグモイド関数、正弦関数、複合関数など) を使用できるだけでなく、微分不可能な関数、さらには不連続関数を活性化機能。

3. 回帰問題のデータ処理

トレーニング セットとテスト セットはランダムな方法で生成され、トレーニング セットには 1900 サンプルが含まれ、テスト セットには 100 サンプルが含まれます。モデルのパフォーマンスに対する変数の大きな分散の影響を減らすために、モデルを構築する前にデータを正規化します。

4. 粘菌アルゴリズムに基づいて最適化されたELM

粘菌アルゴリズムの具体的な原理は、ブログを参照してください: https://blog.csdn.net/u011835903/article/details/113710762

前述からわかるように、ELMの初期の重みとしきい値はランダムに生成されます。毎回生成される初期の重みとしきい値はフルスケールです。このホワイト ペーパーでは、粘菌アルゴリズムを使用して、初期の重みとしきい値を最適化します。フィットネス関数は、トレーニング セットの誤差の MSE として設計されています。
$$フィットネス\_\_\_\_=arg分\left(MS{E}_{プリデクト\_\_\_\_}\right)$$

フィットネス関数は、トレーニング後に MSE エラーを選択します。MSE エラーが小さいほど、予測データと元のデータの一致度が高くなります。最終的な最適化の出力は、最適な初期の重みとしきい値です。次に、最適な初期重みしきい値でトレーニングされたネットワークが、テスト データ セットでテストされます。

5. 試験結果

粘菌アルゴリズムの関連パラメータは次のとおりです。

%训练数据相关尺寸
R = size(Pn_train,1);
S = size(Tn_train,1);
N = 20;%隐含层个数
%% 定义黏菌优化参数
pop=20; %种群数量
Max_iteration=50; %  设定最大迭代次数
dim = N*R + N*S;%维度，即权值与阈值的个数
lb = [-1.*ones(1,N*R),zeros(1,N*S)];%下边界
ub = [ones(1,N*R),ones(1,N*S)];%上边界

粘菌に最適化された ELM とベースの ELM を比較します。

予測結果は下図の通り

ベース ELM MSE エラー: 0.0020092
SMA-ELM MSE エラー: 3.6457e-11

MSEの観点からすると、粘菌-ELMは基本的なELMよりもはるかに優れています

6.参考文献

本「MATLAB Neural Network 43 ケース分析」

7.Matlab コード