最近読んだいくつかの概念は、これまで見たことがないか、あまり印象に残っていないような気がしたので、簡単に記録します。
- エンドツーエンド学習 (エンドツーエンド学習) は、エンドツーエンド トレーニングとも呼ばれ、学習プロセスでモジュールやステージ トレーニングを実行せずにタスクを直接最適化するという全体的な目標を指します。エンドツーエンド学習のトレーニング データは、「入力と出力」のペアの形式で行われます。 , 他の追加情報は必要ありません. したがって, エンドツーエンド学習と深層学習と同様に, 貢献度分布の問題を解決する必要があります. 現在, ニューラルネットワークモデルを使用したほとんどの深層学習も一種とみなすことができます.エンドツーエンドの学習。
- 現在深層学習で主に使用されている自動微分は、逆伝播アルゴリズムの拡張と見ることができます。
- 深層学習フレームワーク (一般的に使用される):
- TensorFlow: Google が開発した深層学習フレームワークで、CPU トーチまたは GPU を備えたあらゆるデバイスで実行できます。TensorFlow の計算過程はデータフローグラフで表現されます。TensorFlow の名前は、その計算過程での演算対象が多次元配列、つまり Tensor であることに由来しています。TensorFlow バージョン 1.0 は静的計算グラフを使用し、バージョン 2.0 は動的計算グラフもサポートします。
- PyTorch: Facebook、NVIDIA、Twitter などの企業によって開発および保守されている深層学習フレームワークであり、その前身は Lua 言語の Torch4 です。PyTorch は動的コンピューティング グラフに基づくフレームワークでもあり、ニューラル ネットワーク構造の動的な変更が必要なタスクにおいて明らかな利点があります。
- PaddlePaddle (PaddlePaddle): Baidu によって開発された効率的でスケーラブルな深層学習フレームワークであり、動的グラフと静的グラフの両方をサポートします。Paddle は強力な深層学習並列テクノロジを提供し、高密度パラメータおよび疎パラメータ シーンの超大規模な深度をサポートできます。同時に学習並列トレーニングは、数千億のパラメータと数百のノードの効率的な並列トレーニングをサポートします。
- これらの基本的なフレームワークに加えて、高度にモジュール化されたニューラル ネットワーク ライブラリがいくつか構築されており、ニューラル ネットワーク モデルの構築がブロックを構成するのと同じくらい簡単になります。その中で、より有名なモジュラー ニューラル ネットワーク フレームワークは、(1) TensorFlow ベースの Keras、(2) Theano ベースの Lasagne です。
- ディープラーニングの研究の進歩は非常に速いため、最新の文献は学会で発表されるのが一般的であり、ディープラーニングに関連する学会には主に以下のようなものがあります。
- 学習表現に関する国際会議 (ICLR): 主に深層学習に焦点を当てます。
- 神経情報処理システムに関する年次会議 (NeurIPS): 学際的な会議ですが、機械学習に焦点を当てています。主に神経情報処理、統計手法、学習理論と応用などが含まれます。
- 機械学習に関する国際会議 (ICML): 機械学習カンファレンスのトップであるディープラーニングは、近年注目を集めており、ICML の大部分を占めています。
- International Joint Conference on Artificial Intelligence (IJCAI): 1969 年から開催されている長い歴史を持つ人工知能分野の最高の総合会議。
- AAAI Conference on Artificial Intelligence (AAAI): 人工知能分野のトップ会議で、通常は北米で毎年 2 月頃に開催されます。