Lion Pride アルゴリズムの最適化に基づくカーネル エクストリーム ラーニング マシン (KELM) 分類アルゴリズム
記事ディレクトリ
要約: この論文では、Lion Pride アルゴリズムを使用してカーネル エクストリーム ラーニング マシン (KELM) を最適化し、それを分類に使用します。
1. KELM の理論的基礎
Kernel Based Extreme Learning Machine (KELM) は、Extreme Learning Machine (ELM) とカーネル機能を組み合わせた改良されたアルゴリズムであり、ELM の利点を維持しながらモデルの予測パフォーマンスを向上させることができます。
ELM は単一隠れ層フィードフォワード ニューラル ネットワークであり、その学習目的関数 F(x) は行列として表現できます。 F ( x )
= h ( x ) × β = H × β = L (9) F( x) =h(x)\times\beta=H\times\beta=L \tag{9}F ( × )=h ( x )×b=H×b=L( 9 )
ここで:xxxは入力ベクトル、h ( x ) h(x)h ( x )、HHHは隠れ層ノードの出力、β ββは出力の重み、LLLは目的の出力です。
ネットワーク トレーニングを線形システムの解法問題に変換します、β \betaβ = H ∗ ⋅ Lによるβ = H * ·Lb=ひ∗ ⋅Lが決定されます。ここで、H ∗ H^*H∗はHHですHの一般化逆行列。ニューラルネットワークの安定性を高めるために、正則化係数CCCと恒等行列IIIの場合、出力重みの最小二乗解は
β = HT ( HHT + I c ) − 1 L (10) \beta = H^T(HH^T+\frac{I}{c})^{-1 }L\タグ{10}b=HT (HH_T+c私)− 1L _( 10 )
ELM にカーネル関数を導入すると、カーネル行列は次のようになります。
Ω ELM = HHT = h ( xi ) h ( xj ) = K ( xi , xj ) (11) \Omega_{ELM}=HH^T=h( x_i )h(x_j)=K(x_i,x_j)\tag{11}おおエルム_ _=HH _T=h ( x私は) h ( ×j)=K ( ×私は、バツj)(11)
式中： x i x_i バツ私は，xj x_jバツjテストの入力ベクトルとして、式 (9) は次のように表すことができます:
F ( x ) = [ K ( x , x 1 ) ; . . . ; K ( x , xn ) ] ( IC + Ω ELM ) − 1 L ( 12) F(x)=[K(x,x_1);...;K(x,x_n)](\frac{I}{C}+\Omega_{ELM})^{-1}L \タグ{12}F ( × )=[ K ( x ,バツ1) ;... ;K ( x ,バツん)] (C私+おおエルム_ _)− 1L _( 12 )
ここで:( x 1 , x 2 , … , xn ) (x_1 , x_2 , …, x_n )( ×1、バツ2、…、バツん)特定のトレーニング サンプル、nnnはサンプルサイズK ( ) K()K ( )はカーネル関数です。
2. 分類問題
この論文では、乳房腫瘍データを分類します。トレーニング セットとテスト セットはランダムな方法で生成され、トレーニング セットには 500 個のサンプルが含まれ、テスト セットには 69 個のサンプルが含まれます。
3. Lion Pride アルゴリズムに基づいて最適化された KELM
ライオン グループ アルゴリズムの具体的な原理については、ブログを参照してください: https://blog.csdn.net/u011835903/article/details/113418075
前述のことからわかるように、この論文では、lion-pride アルゴリズムを使用して、正則化係数 C とカーネル関数パラメーター S を最適化します。適応度関数は、トレーニング セットとテスト セットのエラー率として設計されています。
フィットネス = argmin(訓練誤差率 + 試験誤差率)。フィットネス = argmin(TrainErrorRate + TestErrorRate)。フィットネス_ _ _ _=a r g min (列車エラー率_ _ _ _ _ _+テストエラー率) 。_ _ _ _ _
4. 試験結果
トレーニング セットの LSO-KELM の正解率: 1
テスト セットの LSO-KELM の正解率: 0.95652
ケースの合計数: 569 良性: 357 悪性: 212 トレーニング セットのケースの合計数:
500 良性: 300 悪性: 200 合計
テストセットの症例数: 69 良性: 57 悪性: 12
良性乳腫瘍診断: 55 誤診: 2 診断率 p1=96.4912%
悪性乳腫瘍診断: 11 誤診: 1 診断率 p2=91.6667%
トレーニングセット KELM 正解率: 1
テスト セット KELM 正解率: 0.89855
症例総数: 569 良性: 357 悪性: 212
トレーニング セットの症例総数: 500 良性: 300 悪性: 200
テスト セットの症例総数: 69 良性: 57 悪性: 12
良性乳房腫瘍の診断: 55 誤診: 2 診断率 p1=96.4912%
悪性乳房腫瘍の診断: 7 誤診: 5 確定率 p2=58.3333%
結果から、Pride-KELM は元の KELM アルゴリズムよりも大幅に優れていることがわかります。