現在、ディープラーニングにはさまざまな用途を持つ多くのタイプのニューラルネットワークがあります。このブランチは指数関数的に成長しているため、ニューラルネットワークのさまざまなトポロジーを追跡すると、理解を深めることができます。この記事では、ニューラルネットワークで最も一般的に使用されるトポロジを示し、そのアプリケーションを簡単に紹介します。
図1：パーセプトロン：情報ストレージと脳内の組織化の確率論的モデル[3] |出典：コーネル航空研究所のフランクローゼンブラットがラベルを付けたパーセプトロン。バッファロー、ニューヨーク、1960
1.パーセプトロン（P）
パーセプトロンモデルは、単層ニューラルネットワークとも呼ばれます。このニューラルネットワークには2つの層しか含まれていません。
- 入力層
- 出力層
このタイプのニューラルネットワークには、隠れ層はありません。入力を受け入れ、各ノードの重みを計算します。次に、分類にアクティベーション関数（主にシグモイド関数）を使用します。
応用：
- 分類
- エンコーディングデータベース（多層パーセプトロン）
- アクセスデータの監視（多層パーセプトロン）
2.フィードフォワード（FF）
フィードフォワードニューラルネットワークは、ノードがループを形成しない人工ニューラルネットワークです。このニューラルネットワークでは、すべてのパーセプトロンが入力層に配置されて入力を受け取り、出力層に出力を生成します。非表示レイヤーは外界とは関係がないため、非表示レイヤーと呼ばれます。フィードフォワードニューラルネットワークでは、1つの層の各パーセプトロンが次の層の各ノードに接続されます。したがって、すべてのノードが完全に接続されています。同じレイヤー内のノード間には目に見える接続も目に見えない接続もないことに注意してください。フィードフォワードネットワークにはバックループはありません。したがって、予測誤差を最小限に抑えるために、通常、バックプロパゲーションアルゴリズムを使用して重みを更新します。
応用：
- データ圧縮
- パターン認識
- コンピュータビジョン
- ソナーターゲット認識
- 音声認識
- 手書き文字認識
3.動径基底ネットワーク（RBN）
動径基底関数ネットワークは通常、関数近似問題を解くために使用されます。他のニューラルネットワークとは異なり、学習速度が速く、一般的な近似機能を備えています。動径基底関数ニューラルネットワークとフィードフォワードニューラルネットワークの主な違いは、動径基底関数ニューラルネットワークが動径関数を活性化関数として使用することです。ロジスティック（シグモイド）関数の出力値は0から1の間で、答えが「はい」か「いいえ」かを判断するために使用されます。問題は、連続的な値がある場合、フィードフォワードニューラルネットワークを使用できないことです。放射基底関数ニューラルネットワークは、生成された出力がターゲット出力からどれだけ離れているかを決定します。連続値の場合に非常に役立ちます。つまり、RBFニューラルネットワークは他のアクティブ化関数を使用して、フィードフォワードニューラルネットワークと同じように動作します。
応用：
- 関数近似
- 時系列予測
- 分類
- システム制御
4.ディープフィードフォワード（DFF）
ディープフィードフォワードネットワークは、複数の非表示レイヤーを使用するフィードフォワードネットワークです。隠れ層を1つだけ使用することの主な問題は過剰適合であるため、隠れ層を増やすことで過剰適合を減らし、汎化能力を向上させることができます。
応用：
- データ圧縮
- パターン認識
- コンピュータビジョン
- ECGノイズフィルタリング
- 財務予測
5.リカレントニューラルネットワーク（RNN）
再帰型ニューラルネットワークは、フィードフォワードニューラルネットワークの改良型です。このタイプでは、非表示層の各ニューロンは、特定の時間遅延で入力を受け取ります。このタイプのニューラルネットワークでは、現在の反復で以前の情報にアクセスする必要があります。たとえば、文の次の単語を予測しようとする場合、最初に以前に使用された単語を知る必要があります。リカレントニューラルネットワークは、入力を処理し、任意の長さおよび重みを時間をかけて共有できます。モデルのサイズは入力のサイズとともに増加せず、モデルの計算では履歴情報が考慮されます。ただし、このニューラルネットワークの問題は、計算速度が遅いことです。さらに、現在の状態からの将来の入力を考慮することはできません。また、昔の情報も思い出せません。
応用：
- 機械翻訳
- ロボット制御
- 時系列予測
- 音声認識
- 音声合成
- 時系列異常検出
- リズム学習
- 音楽制作
6.長期/短期記憶（LSTM）
LSTMネットワークはメモリユニットを導入します。インターバルメモリからのデータを処理できます。上記からわかるように、RNNの時間遅延を考慮することができますが、関連データが多い場合、RNNは失敗しやすく、LSTMが適切です。さらに、LSTMと比較すると、RNNはずっと前にデータを記憶することができません。
応用：
- 音声認識
- ライティング認識
7. Gated Recurrent Unit（GRU）
GRUはLSTMのバリアントです。これらはすべて類似の設計であり、ほとんどの場合結果は同じです。GRUにはドアが3つしかなく、内部ユニットの状態は維持されません。
a。更新ゲート：過去の知識をどれだけ将来に引き継ぐことができるかを決定します。
b。リセットゲート：忘れる必要がある過去の知識の量を決定します。
c。現在のメモリゲート：運命のサブパートをリセットします。
応用：
- ポリフォニック音楽モデル
- 音声信号モデリング
- 自然言語処理
8.オートエンコーダー（AE）：
オートエンコーダニューラルネットワークは、教師なし機械学習アルゴリズムです。オートエンコーダでは、隠れたニューロンの数は入力ニューロンの数よりも少なくなります。オートエンコーダの入力ニューロンの数は、出力ニューロンの数と同じです。オートエンコーダーネットワークでは、出力を表示するようにトレーニングします。出力と入力は可能な限り近くなるため、オートエンコーダーは一般的なパターンと一般化されたデータを検索します。オートエンコーダを使用して、入力を小さく表現します。また、圧縮データから元のデータを再構築することもできます。オートエンコーダーは出力を入力と同じにする必要があるため、アルゴリズムは比較的単純です。
- エンコーダー：入力データを低次元に変換
- デコーダ：圧縮データを再構築
応用：
- 分類
- クラスタリング
- 機能圧縮
9.変分オートエンコーダ（VAE）
変分オートエンコーダー（VAE）は、確率論的手法を使用して観測を記述します。これは、機能セットの各属性の確率分布を示しています。
応用：
- 文の間に挿入
- 自動画像生成
10.ノイズ除去オートエンコーダ（DAE）
この種のオートエンコーダでは、入力にランダムノイズも含まれているため、ネットワークは入力を出力に単純にコピーできません。DAEでは、ノイズを減らし、意味のあるデータを生成するために作成しました。この場合、アルゴリズムは非表示レイヤーにより堅牢な機能を学習させるため、出力はノイズの多い入力のより正確なバージョンになります。
応用：
- 特徴抽出
- 次元削減
11.スパースオートエンコーダ（SAE）
スパースオートエンコーダネットワークでは、隠れ層のアクティブ化にペナルティを課すことによって損失関数を構築します。これにより、サンプルをネットワークに入力したときに、アクティブになるノードはわずかです。この方法の背後にある直観は、たとえば、ある人が主題A、B、C、およびDの専門家であると主張する場合、その人はこれらの主題のよりジェネラリストである可能性があるということです。ただし、被験者Dのみに集中していると主張する場合、被験者Dの知識に触発される可能性が非常に高くなります。
応用：
- 特徴抽出
- 手書き数字認識
12.マルコフ連鎖（MC）
マルコフ連鎖は、特定の確率規則に基づいて、ある状態から別の状態に遷移する数学システムです。特定の状態に遷移する確率は、現在の状態と経過時間に完全に依存します。
たとえば、次のような状態が考えられます。
- 文字
- デジタル
- 気象条件
- 野球スコア
- 株式パフォーマンス
応用：
- 音声認識
- 情報通信システム
- 待ち行列理論
- 統計学
13.ホップフィールドネットワーク（HN）：
Hopfieldニューラルネットワークでは、各ニューロンは他のニューロンに直接接続されています。このネットワークでは、ニューロンはオンまたはオフです。ニューロンの状態は、他のニューロンから入力を受け取ることによって変更できます。通常、Hopfieldネットワークを使用して、パターンと記憶を保存します。一連のパターンでニューラルネットワークをトレーニングすると、たとえ少し歪んだり不完全であっても、パターンを認識できます。不完全な入力を提供すると、完全なパターンを認識できるため、最良の推測が返されます。
応用：
- 最適化
- 画像の検出と認識
- 医用画像認識
- 強化されたX線画像
14.ボルツマンマシン（BM）：
ボッツマンマシンネットワークでは、生データセットから確率分布を学習し、それを使用して見えないデータを推測します。BMには入力ノードと非表示ノードがあり、すべての非表示ノードの状態が変化すると、入力ノードが出力ノードに変換されます。例：原子力発電所で作業している場合、安全を第一に考えなければなりません。私たちの仕事は、発電所のすべてのコンポーネントを安全に使用できるようにすることです。各コンポーネントには関連する状態があり、ブール値1は使用可能を示し、0は使用不可を示します。ただし、いくつかのコンポーネントがあり、定期的にステータスを測定することは不可能です。
さらに、隠しコンポーネントが機能しなくなった場合に発電所が爆発する時期を知らせるデータはありません。この場合、コンポーネントの状態が変化したときに通知するモデルを作成しました。このようにして、コンポーネントの検査と発電所の安全性の確保が通知されます。
応用：
- 次元削減
- 分類
- 返す
- 協調フィルタリング
- 特徴学習
15.制限付きボルツマンマシン（RBM）
RBMはBMのバリアントです。このモデルでは、入力層と非表示層のニューロン間に対称的な接続がある場合があります。注意すべきことの1つは、各レイヤー内に内部接続がないことです。対照的に、ボルツマンマシンには、内部接続の隠れた層がある場合があります。これらの制限により、モデルのトレーニングがより効率的になります。
応用：
- フィルタ
- 特徴学習
- 分類
- リスク検出
- ビジネスと経済分析
16.深い信念ネットワーク（DBN）
深い信念ネットワークには、多くの隠れ層が含まれています。監視なしで最初に学習するため、監視なしアルゴリズムを使用してDBNを呼び出すことができます。DBNのレイヤーは、特徴検出器として機能します。教師なしトレーニングの後、教師ありメソッドを使用して、分類のためにモデルをトレーニングできます。DBNは制限付きボルツマンマシン（RBM）とオートエンコーダー（AE）の組み合わせとして表現でき、最終的なDBNは確率的手法を使用して結果を取得します。
応用：
- ファイル/画像を取得する
- 非線形次元削減
17.ディープコンボリューショナルネットワーク（DCN）
畳み込みニューラルネットワークは一種のニューラルネットワークで、主に画像分類、画像クラスタリング、ターゲット認識に使用されます。DNNは、監視されていない階層的な画像表現の構築を可能にします。DNNは、タスクをより正確に実行できるように、より複雑な機能を追加するために使用されます。
応用：
- 顔、道路標識、腫瘍を認識する
- 画像識別
- ビデオ分析
- 自然言語処理
- 異常検知
- 創薬
- チェッカーゲーム
- 時系列予測
18.デコンボリューショナルニューラルネットワーク（DN）
逆畳み込みネットワークは、逆のプロセスの畳み込みニューラルネットワークです。デコンボリューションネットワークは実行においてCNNに似ていますが、AIでのアプリケーションは大きく異なります。デコンボリューションネットワークは、以前は有用であると考えられていたネットワークで欠けている機能や信号を見つけるのに役立ちます。他の信号とのたたみ込みにより、たたみ込みネットワークは信号を失う可能性があります。デコンボリューションネットワークは、ベクトル入力を受け入れ、それを写真に復元できます。
応用：
- 画像の超解像
- 画像表面深度推定
- オプティカルフローの推定
19.ディープコンボリューショナルインバースグラフィックスネットワーク（DC-IGN）
深い畳み込み逆グラフネットワークは、グラフ表現と画像を結びつけることを目的としています。照明、オブジェクトの位置、テクスチャ、その他の画像デザインの要素などを使用して、非常に複雑な画像処理を実行します。異なるレイヤーを使用して入力と出力を処理します。深いたたみ込み逆グラフィックスネットワークは、最初のレイヤーを使用してさまざまなたたみ込みと最大プーリングを介してエンコードし、その後のレイヤーを使用して拡張とデコードを行います。
応用：
- 顔処理
20. Generative Adversarial Network（GAN）
トレーニングデータが与えられると、GANはトレーニングデータと同じ統計を使用して新しいデータを生成することを学習します。たとえば、写真でGANモデルをトレーニングすると、トレーニングされたモデルは、人間の目には本物に見える新しい写真を生成できます。GANの目標は、実際の結果と合成結果を区別して、より現実的な結果を生成することです。
応用：
- 新しい人間のポーズを作成する
- 写真は絵文字になります
- 顔の老化
- 超解像
- 着替え
- ビデオ予測
21.リキッドステートマシン（LSM）
Liquid Machineは特別なインパルスニューラルネットワークです。液体機械は、多数のニューロンで構成されています。ここで、各ノードは外部ソースおよび他のノードから入力を受け取り、これらの入力は時間とともに変化する可能性があります。液体機械のノードはランダムに接続されていることに注意してください。液体機械では、起動機能はしきい値レベルに置き換えられます。液体機械がしきい値レベルに達したときのみ、特定のニューロンが出力を放出します。
応用：
- 音声認識
- コンピュータビジョン
22. Extreme Learning Machine（ELM）：
大量のデータを処理する従来のシステムの主な欠点は次のとおりです。
- 勾配アルゴリズムに基づく学習速度が遅い
- すべてのパラメーターを繰り返し調整する
極値学習マシンは、隠れたノードをランダムに選択し、分析を通じて出力の重みを決定します。したがって、これらのアルゴリズムは、一般的なニューラルネットワークアルゴリズムよりも高速です。さらに、極端な学習マシンネットワークでは、ランダムに割り当てられた重みは通常更新されません。出力の重みを学習するのに必要なステップは1つだけです。
応用：
- 分類
- 返す
- クラスタリング
- スパース近似
- 特徴学習
23.エコーステートネットワーク（ESN）
ESNは再帰型ニューラルネットワークのサブタイプです。ここで、各入力ノードは非線形信号を受信します。ESNでは、非表示のノードがまばらに接続されています。非表示ノードの接続性と重みはランダムに割り当てられます。ESNでは、最終出力の重みをトレーニングして更新できます。
応用：
- 時系列予測
- データマイニング
24.ディープレジデンシャルネットワーク（DRN）
多層構造のディープニューラルネットワークのトレーニングは難しく、多くの時間がかかります。また、結果が低下する可能性もあります。深い残余ネットワークは、多くの層があっても結果の劣化を防ぐことができます。残余ネットワークを使用して、その入力の一部が次のレイヤーに渡されます。したがって、これらのネットワークはかなり深くなる可能性があります（約300のレイヤーが含まれる場合があります）。
応用：
- 画像分類
- ターゲット検出
- セマンティックセグメンテーション
- 音声認識
- 言語認識
25.コホーネンネットワークス（KN）
Kohonenネットワークは、教師なしアルゴリズムです。コホーネンネットワークは自己組織化マップとも呼ばれます。これは、データが複数の次元に分散していて、1つまたは2つの次元のみを持たせたい場合に非常に役立ちます。次元削減の方法と考えることができます。Kohonenネットワークを使用して、高次元データを視覚化します。彼らは誤り訂正学習の代わりに競争学習を使用します。
さまざまなトポロジ：
- 長方形グリッドトポロジ
- 六角形のメッシュトポロジ
応用：
- 次元削減
- 水質の評価と予測
- 沿岸水資源管理
26.サポートベクターマシン（SVM）：
サポートベクターマシンニューラルネットワークは、サポートベクターマシンとニューラルネットワークのハイブリッドアルゴリズムです。新しいサンプルのセットの場合、常に2つのカテゴリに分けようとします：はいまたはいいえ（1または0）。サポートベクターマシンは通常、バイナリ分類に使用されます。これらは通常ニューラルネットワークとは見なされません。
応用：
- 顔検出
- テキストの分類
- 分類
- バイオインフォマティクス
- 手書き認識
27.ニューラルチューリングマシン（NTM）：
ニューラルチューリングマシン構造には、2つの主要コンポーネントが含まれます。
- ニューラルネットワークコントローラー
- メモリーバンク
このニューラルネットワークでは、コントローラーは入出力ベクトルを介して外界と相互作用します。また、メモリマトリックスと対話することにより、選択的な読み取りおよび書き込み操作を実行します。チューリングマシンは、コンピューティングにおいて現代のコンピューターと同等であると考えられています。したがって、NTMは外部ストレージとの相互作用を通じて標準ニューラルネットワークの機能を拡張します。
応用：
- ロボット
- 人工脳を作成する
ニューラルネットワークの主なタイプの概要をお楽しみいただけましたでしょうか。フィードバックがある場合、または修正または再検討する必要がある場合は、コメントに追加してください。
参照：
[1]アクティベーション機能| ウィキペディア| en.wikipedia.org/wiki/A
[2]パーセプトロン：脳内の情報ストレージと組織化の確率モデル| フランク・ローゼンブラット| ペンシルバニア大学| ling.upenn.edu/courses/
[3]コーネル航空研究所のフランクローゼンブラットのマークIパーセプトロン。バッファロー、ニューヨーク、1960 | Instagram、カーネギーメロン大学の機械学習部門| instagram.com/p/Bn_s3bj
[4]バックプロパゲーション| ウィキペディア| https://en.wikipedia.org/wiki/Backpropagation
オリジナル：https://medium.com/towards-artificial-intelligence/main-types-of-neural-networks-and-its-applications-tutorial-734480d7ec8e