ニューラルネットワークの開発プロセス

ニューラル ネットワークの開発は、大きく 5 つの段階を経ます。
第 1 段階: モデルの提案
1943 年、心理学者のウォーレン・マカロックと数学者のウォルター・ピッツが初めて理想的な人工ニューラル ネットワークを記述し、単純な論理演算に基づいたコンピューティング メカニズムを構築しました。彼らが提案したニューラルネットワークモデルはMPモデルと呼ばれます。
アラン・チューリングは、1948 年の論文で「タイプ B チューリング マシン」について説明しました。(ヘビアン学習)
1951 年、マカロックとピッツの学生マービン ミンスキーは、SNARC と呼ばれる最初のニューラル ネットワーク マシンを構築しました。
Rosenblatt [1958] は、人間の知覚をシミュレートできるニューラル ネットワーク モデルを初めて提案し、これをパーセプトロンと呼び、人間の学習プロセス (反復、試行錯誤) に近い学習アルゴリズムを提案しました。
第 2 段階: 氷河期
1969 年にマービン ミンスキーは「パーセプトロン」という本を出版し、ニューラル ネットワークは直接影に投げ込まれ、10 年以上にわたってニューラル ネットワークの「氷河期」が続いたと結論付けました。彼らはニューラル ネットワークに関する 2 つの重要な問題を発見しました:
1) 基本的なパーセプトロンは XOR ループを処理できません。
2) コンピューターは、大規模なニューラル ネットワークに必要な長い計算時間を処理できるほど強力ではありません。
1974 年にハーバード大学の Paul Webos がバックプロパゲーション アルゴリズムを発明しましたが、当時はそれにふさわしい注目を集めませんでした。
1980 年、福島邦彦は、畳み込みとサブサンプリング操作を備えた多層ニューラル ネットワークを提案しました: ネオコグニトロンの第
3 段階: バックプロパゲーション アルゴリズムによって引き起こされるルネッサンス
1983 年、物理学者のジョン ホップフィールドは、ニューラル ネットワークにエネルギー関数の概念を導入し、提案しました。連想記憶と最適化計算のためのネットワーク (ホップフィールド ネットワークと呼ばれる) を開発し、巡回セールスマン問題で当時最高の結果を達成し、センセーションを巻き起こしました。
1985 年に、ヒントンとセイノフスキーは、統計物理学の概念と方法を使用して、ランダム ニューラル ネットワーク モデル、つまりボルツマン マシンを提案しました。1 年後、彼らはモデルを改良し、制限付きボルツマン マシンを提案しました。
1986 年、David Rumelhart と James McClelland は、神経活動のコンピューター シミュレーションにおけるコネクショニズムの応用について包括的な議論を行い、バックプロパゲーション アルゴリズムを再発明しました。
1986 年にジェフリー ヒントンらが多層パーセプトロンにバックプロパゲーション アルゴリズムを導入し、
1989 年にルカンらが畳み込みニューラル ネットワークにバックプロパゲーション アルゴリズムを導入し、手書き数字認識で大きな成功を収めました。
第 4 段階: 人気の低下
1990 年代半ばになると、統計学習理論とサポート ベクター マシンに代表される機械学習モデルが台頭し始めました。
一方で、ニューラルネットワークの理論的根拠の不明確さ、最適化の難しさ、解釈性の低さなどの欠点が顕著になり、ニューラルネットワークの研究は再び低迷しています。
ステージ 5: 深層学習の台頭
2006 年、ヒントンらは、多層フィードフォワード ニューラル ネットワークが層ごとの事前トレーニングと、バックプロパゲーション アルゴリズムを使用した微調整を通じて効果的に学習できることを発見しました。
ディープ ニューラル ネットワークは、音声認識や画像分類などのタスクで大きな成功を収めています。
2013 年、AlexNet: 最初の最新の深層畳み込みネットワーク モデル。画像分類における深層学習テクノロジの真のブレークスルーの始まりです。
AlexNet は、事前トレーニングやレイヤーごとのトレーニングを必要とせず、多くの最新のディープ ネットワーク テクノロジを初めて使用しており、大規模な並列
コンピューティングと GPU デバイスの普及により、コンピューターのコンピューティング機能が大幅に向上しました。さらに、機械学習に利用できるデータのサイズはますます大きくなっています。計算能力とデータ規模のサポートにより、コンピューターはすでに大規模な人工ニューラル ネットワークを訓練することができます。