回帰適合:
分類
この記事は、著者の予測アルゴリズム シリーズの 4 番目です。前の記事では、BP、SVM、RF とその最適化について紹介しました。興味のある読者は、著者の以前の記事でそれについて学ぶことができます。この記事では、Extreme Learning Machine について紹介します
過去数十年にわたり、勾配ベースの学習手法がニューラル ネットワークのトレーニングに広く使用されてきました。たとえば、BP アルゴリズムは誤差の逆伝播を使用してネットワークの重みを調整します。しかし、学習ステップ サイズが不適切なため、アルゴリズムの収束速度が低下し、非常に遅く、極小値になりやすいため、満足のいく精度を得るには多くの場合、多数の反復が必要になります。これらの問題は、アプリケーション分野での開発を制限する主なボトルネックとなっています。
Huang et al.[1] は、Extreme Learning Machine (ELM) と呼ばれるシンプルで効率的な単一隠れ層フィードフォワード ニューラル ネットワーク学習アルゴリズムを提案しました。その典型的な利点は、学習速度が非常に高速であることです。低複雑性の利点により、従来の勾配アルゴリズムの極小値、過学習、学習率の不適切な選択などの問題が克服され、現在、パターン認識、故障診断、機械学習、ソフト測定などの分野で広く使用されています。
00カタログ
1 標準極限学習マシン ELM
2 コードディレクトリ
3 ELM の最適化された実装
4 ソースコードの取得
5 展望
参考文献
01 標準極限学習マシン ELM
1.1 ELM の原理
与えられたデータセット: T={(x1,y1),…,(xl,yl)}、xi∈Rn, y∈R, i=1,…,l; N 個の隠れ層ノード、活性化関数が含まれるG の学習機械回帰モデルは次のように表現できます。
その内: bi は i 番目の隠れ層ノードと出力ニューロンの出力重み、ai は入力ニューロンと i 番目の隠れ層ノードの入力重み、bi は i 番目の隠れ層のバイアスです。 node; h( x)=[G(a1,b1,x1),…,(aN,bN,xN)] は、隠れ層出力行列と呼ばれます。そして、ai、bi はトレーニングの開始時にランダムに選択され、トレーニング プロセス中は変更されません。出力の重みは、次の線形方程式の最小二乗解を解くことで取得できます。
この方程式系の最小二乗解は次のとおりです。
このうち、H+ は隠れ層出力行列 H のムーア・ペンローズ一般逆行列と呼ばれます。
1.2 ELMの最適化
ELM は入力重み行列と隠れ層バイアスをランダムに与えるため、1.1 節の計算式は入力重み行列と隠れ層バイアスから出力重み行列が計算されることを示しています。層偏差は 0、つまり、一部の隠れ層ノードが無効です。したがって、一部の実際のアプリケーションでは、理想的な精度を達成するために ELM に多数の隠れ層ノードが必要です。また、ELM はトレーニングセットに現れないサンプルに対する対応力、つまり汎化能力が不十分です。上記の問題に対処するには、最適化アルゴリズムと極限学習マシン ネットワークを組み合わせた学習アルゴリズムを使用できます。つまり、最適化アルゴリズムを使用して極限学習マシンの入力層の重みと隠れ層のバイアスを最適化し、最適なネットワーク [3]。
ELM 最適化の場合、PSO 最適化 ELM を例として、プロセスは次のとおりです。
02 コードディレクトリ
この論文では、改良された動的複数群粒子群アルゴリズムを使用して ELM を最適化し、それを標準粒子群アルゴリズムと比較して ELM および ELM アルゴリズムを最適化します。
改良された動的複数群粒子群最適化アルゴリズム (IDM-PSO)
分類問題:
このうち、IDM_PSO_ELM.m、MY_ELM_CLA.m、PSO_ELM.m はすべて独立して実行できるメイン プログラムであり、result.m を使用してこれら 3 つのアルゴリズムの効果を比較できます。アルゴリズムを比較したい場合は、単に実行してくださいこの番組だけでも。
ソースコードの一部は次のとおりです。
回帰フィッティングの問題:
回帰フィッティング手順は分類の手順と似ているため、ここでは繰り返しません。
ソースコードの一部:
03 極限学習マシンとその最適化された予測結果の比較
3.1 回帰フィッティング
応用問題は、多入力単一出力の問題です。
3.1.1 評価指標
構築されたモデルの精度と精度を検証するために、二乗平均平方根誤差 (Root Mean Square Error、RMSE)、平均絶対パーセント誤差 (Mean Absolute Percentage Error、MAPE)、および平均絶対値誤差 (Mean Absolute Error) 、ＭＡＥ）をそれぞれ評価基準として用いた。
この式では、Yi と Y ^ i はそれぞれ実際の値と予測値であり、n はサンプル数です。
3.1.2 シミュレーション結果
最適化が効果的であることがわかります。
3.2 分類
3.2.1 評価指標
モデルの精度を検証するために、この記事では混同行列、精度、適合率、再現率、および F1 スコアを測定します。
1. 混同マトリックス
混同行列は視覚化ツールです。混同行列の各列は予測されたカテゴリを表し、その合計数はそのカテゴリの分類器によって予測されたデータの総数です。各行はデータの真のカテゴリを表し、その合計数は、そのカテゴリに属するデータ インスタンスです。主対角の要素は各カテゴリの正確な分類の数であり、多分類モデルの分類精度は混同行列を通じて直感的に確認できます。
2. 精度
SVM の多分類効果を判断する最も簡単な方法は、次の式を使用して精度 r を計算することです。
ここで、ncorrect は正しく分類されたサンプルの数を表し、N はテスト セット内のサンプルの総数を表します。
3. 精度
精度は、陽性クラスとして正しく予測されたサンプル数と、陽性クラスとして予測されたサンプル数の割合として計算されます。式は次のとおりです。
このうち、TPは陽性サンプルとして予測された陽性サンプルの数を表し、FPは陽性サンプルとして予測された陰性サンプルの数を表す。
4. 再現率
再現率は、実際に陽性クラスであるサンプル数に対する、陽性クラスを正しく予測したサンプル数の割合として計算されます。式は次のとおりです。
このうち、FN は陰性サンプルと判定された陽性サンプルの数を表します。
5、F1スコア
F1 スコアは適合率と再現率の調和平均です。F1 スコアが高いほど、モデルはより堅牢になります。計算式は次のとおりです。
6. マクロ平均化
マクロ平均とは、すべてのカテゴリの各統計指標値 (マクロ精度、マクロ再現率、マクロ F1 スコア) の算術平均を指します)、その計算式は次のとおりです。
3.2.2 シミュレーション結果
分類問題では引き続き有効ですが、一部のカテゴリでは予測値が存在しないため、精度と F1 の計算式から NaN が出現することがわかります。
04 ソースコード取得
著者をフォローするか、プライベートメッセージを送信してください
05 展望
本稿では、ELMの最適化に改良された動的複数群粒子群アルゴリズムを適用した例を紹介します.著者が言及したSparrowアルゴリズムも使用できますが、同時に極限学習マシンは処理中に収束できないなどの問題を抱えています大規模データには、ニュークリア エクストリーム ラーニング マシン、マルチコア エクストリーム ラーニング マシン、ディープ エクストリーム ラーニング マシンなどの亜種があり、著者は将来的にこれらのアルゴリズムの実装も更新する予定です。
参考文献
[1] Huang GB、Zhu QY、Siew C K. エクストリーム学習マシン: フィードフォワード ニューラル ネットワークの新しい学習スキーム//2004 年 1EEE 国際合同会議ニューラル ネットワークの議事録。ブダペスト、ハンガリー、2004:985-990
[2]FAN Shu-ming、QIN Xi-zhong、JIA Zhen-hong、他。ELM 改良層型アンサンブル アーキテクチャに基づく時系列予測[J]。Computer Engineering and Design、2019、40(7):1915-1921 。
[3] Wang Jie、Bi Haoyang. 粒子群最適化に基づく極端な学習マシン [J]. 鄭州大学ジャーナル (科学版)、2013、45(01): 100-104。
もう 1 つ: 解決すべき最適化問題 (あらゆる種類の分野が利用可能) を抱えているパートナーがいる場合は、私に送っていただければ、これらの問題を解決するための最適化アルゴリズムの使用に関する記事を選択的に更新します。
この記事が役に立ったり、インスピレーションを与えたりした場合は、右下隅にある「いいね (ง •̀_•́)ง」をクリックしてください (クリックする必要はありません)。カスタマイズが必要な場合は、著者にプライベート メッセージを送信できます。 。