Huangのプログラムを使用した、Zhangの単一入力単一出力非線形関数の場合、隠れ層ニューロンの数はあまり影響しませんが、入力の重みとバイアス範囲は大きな影響を及ぼします。
隠れニューロンの数
50InputWeight = rand（
NumberofHiddenNeurons 、NumberofInputNeurons ）; BiasofHiddenNeurons = rand（NumberofHiddenNeurons、1）;
InputWeight = rand（NumberofHiddenNeurons、
NumberofInputNeurons ）* 2-1; BiasofHiddenNeurons = rand（NumberofHiddenNeurons、1）* 2-1;
InputWeight = rand（NumberofHiddenNeurons 、NumberofInputNeurons）* 30-10;
BiasofHiddenNeurons = rand（Numberof1）* 10-ons ;
入力の重みとバイアスの範囲は、結果に大きな影響を与えます。
1.では、入力の重みとバイアスの範囲をどのように選択するのでしょうか。
私はすべて[-1,1]であるか、ランダムに与えられた多くの論文を見てきました。
張の非線形関数については、より広い範囲しか与えていませんが、データは正規化されていませんか？
黄色のプログラムを使用すると、データの正規化も機能しません。
2.では、入力の重みとバイアスの範囲をどのように選択するのでしょうか。
入力の重みとバイアス範囲の設定について説明している論文を見つけました：
ニューラルネットワークのランダム化アルゴリズムへの洞察：実用的な問題と一般的な落とし穴
Ming Li、Dianhui Wang
doi.org/10.1016/j.ins.2016.12.007
表1と表2から、[-1,1]の入力の重みとバイアスの範囲は[-200,200]ほど効果的ではないことがわかります。赤い円から、[-の誤差がわかります。 200,200]は小さいです。これは、入力の重みとバイアスの範囲を[-1,1]に固定するのが最善ではないことを示しています。上記は非線形関数f1の場合です。
f2の同じ結果は次のとおりです。
つまり、入力の重みとバイアスが[-1,1]に設定されている場合、隠れ層の出力の重みHはランクよりも小さくなり、トレーニングとテストのパフォーマンスは非常に低くなります。 。また、範囲は[-5,5]に固定されており、良好な結果が得られます。
要約：この論文は、与えられた入力の重みとバイアス範囲が不合理であるとだけ述べていますが、入力の重みとバイアス範囲を設定する方法を提供していません。
3.この問題については、次のペーパーで引き続き説明します。
ランダムな隠れノードを持つフィードフォワードニューラルネットワークでのランダムな重みとバイアスの生成
DOI：10.1016 / j.ins.2018.12.063
要約：この論文では、ニューロンの活性化関数の重みaとバイアスbが入力ニューロンの重みとは異なることについて説明します。オフセット範囲！！しかし、私はこの側面も考慮されるべきであると言わなければなりません。
4.隠れ層ニューロンの数は、入力の重みとバイアスの範囲に対応します。隠れ層ニューロンの数も決定する必要がありますが、どのように決定するのですか？
ガソリンエンジンのトルク予測のためのエクストリームラーニングマシンに関する研究では、隠れ層ニューロンの数を選択する方法が言及されています。
4. ELMを使用したいくつかの論文を通して、他の人がどのようにスコープを設定したかを見てください。
5.パラメータについて具体的に説明している論文を見つけました。
エクストリームラーニングマシンのパラメータ選択の秘訣
doi：10.1088 / 1757-899X / 261/1/012002
この論文はいくつかの質問に答えました
（1）それは隠れ層ノードの数ですか？数が多いほど良いですか？
著者はいくつかの関数をテストしましたが、他のパラメーターは変更されないまま、隠れ層ノードの数だけが変更されました。
最後に、隠れ層ノードが多いほど良いというわけではないと結論付けられます。
では、いくつの隠れ層ノードを取得する必要がありますか？著者は、隠れ層ノードの数を選択するためのいくつかの参照を提供します。
推奨される方法の1つは、インクリメンタルELM（I-ELM）[10]、拡張インクリメンタルELM（EI-ELM）[20]、双方向ELM（B-ELM）[20]などのインクリメンタル構築手法を使用して、隠れノードの初期数を自動的に推定することです。 21]、剪定されたELM（P-ELM）[22]、エラーが最小化されたELM（EM-ELM）[23]など…次に、初期モデルを最適化して最適なネットワークモデルを取得します
（2）入力ノードから隠れ層ノードへ経験範囲[-1,1]を範囲に、[0,1]をオフセット範囲に設定するのが最善ですか？
隠れ層に乗算された作成者値変更入力の値の範囲は、それぞれ[-1、1]、[-10、10]、[-20、20]、および[-30、30]ですが、他のパラメーターは残ります。変更なし、つまり、隠れ層ノードの数は200に固定され、バイアスは[0,1]に固定され、シグモイド関数が活性化関数として使用されます。パフォーマンスが分析されます。
結論として、さまざまなタイプのデータが必ずしも[-1,1]の範囲で最適なパフォーマンスを達成するとは限りません。この範囲を調整して、最高のパフォーマンスを得ることができます。
グリッド検索またはランダム検索を使用してELMモデルに最適なパラメーターを取得することをお勧めします。
著者は、グリッド検索またはランダム検索を使用してELMモデルに最適なパラメーターを取得することをお勧めします。
（3）オフセット[0,1]は最適ですか？オフセット範囲は[0、1]、[0、5]、[0、10]、[0、15]の順に選択され、その他のパラメーターは変更されません。
結論：非線形関数にはいくつかの近似があり、最適範囲は[0,1]ではありません。したがって、範囲を調整することで最適値を得ることができます。
（4）活性化関数の種類は最適なパフォーマンスに影響しますか？
結論：ほとんどのsigmod関数のパフォーマンスは最高ですが、他の関数が最高の場合もあります。
概要：この論文は2017年に発行されました。この記事を引用している関連論文を検索すると、この分野の進捗状況を引き続き確認できます。
それを見つける方法は？Baiduのエクストリームラーニングマシンのキーワードの学術検索では、上記の論文に言及した次の論文
「ガソリンエンジントルク予測のためのエクストリームラーニングマシンに関する研究」が見つかりました
。
5.私のデータは産業データであるため、産業データに関連する極端な学習に関する論文を見つける必要があります。
未知のノイズを使用したモデリング用の堅牢なエクストリームラーニングマシン
https://doi.org/10.1016/j.jfranklin.2020.06.0272019年に公開されたこの論文は
、ELMが隠れ層パラメーターの範囲とその変化に対してより敏感であることを指摘しました。ニューラルネットワークのパフォーマンスに大きな影響を与えます。
6.入力の重みとバイアス範囲に特化したこの論文をどのようにして見つけましたか？
回答：ランダムニューラルネットワークレビューペーパーを通して、ランダムニューラルネットワーク関連のペーパーが何をするかを説明しています。これが私がそれを発見した方法です。したがって、何かを探すときは、最初にレビューペーパーを見て、レビューペーパーに必要なものがあるかどうかを確認してから、見つけた記事に基づいて関連するペーパーを探します。
スコープの問題を解決したいだけです。特定の方法を検討する必要はないかもしれません。目標を明確にするために、それらの結論を使用するだけで済みます。
方法：1。著者の関連する論文を引き続き検索して、さらに詳細な調査があるかどうかを確認できます。2。論文を引用した関連する論文が関連する進歩を遂げたかどうかを確認します。