1、学習の最適化の深さ
（1）SGDの確率的勾配降下
勾配降下のバッチバージョンδ：X T = - ηG T
長所：場合は、あまりにも多くのトレーニングデータ、バッチ法、より高速な収束を機械の圧力を減らすことができ、トレーニングの冗長性、バッチ法が速く収束します。
短所：現在のバッチの方向に完全に依存アップデート、アップデート不安定。
（2）運動量MOMENTUMMETHOD
運動量δ：X T = ρはδ：X T. 1- -ηg T
勾配方向を微調整の現在のバッチを利用しながら、更新方向は前に、ある程度を保持します。
利点：より速く学び、ある程度の安定性を高め、かつ局所最適容量そこから脱出しなければなりません。
（3）ネステロフモメンタム
伝統的なMOMENTUMMETHODを改善
ΔX
T
=ρΔX
T-1
-ηΔf（X
T
+ρΔX
T-1
）
（4）Adagrad
学習レート制約
= A / √ S T I = 1（グラムI）2 + E
まばらな勾配を扱うのに適し
（5）Adadelta
Adagradの延長
計算を簡略化する、累積固定サイズのエントリ（近似）
（6）RMSprop
Adadelta特殊なケース
RMS RMS | G | T = √E| G 2 | T + 、ε
ΔXの
トン
= - （η/ RMS | G |
トン
）グラム
トン
RNN上の非定常目標のために、よりよい効果
（7）アダム
基本的に長期的な勢いはRMSpropであります
学習率の各反復は、一定の範囲を有した後に動的に、より安定したパラメータように、オフセット補正の後に、各パラメータを調整勾配一次モーメントと二次モーメント推定推定学習率を有します。
（8）座標降下法
非勾配最適化の方法は、目的関数の極小値を調整するために、異なるリサイクル方法を用いて、各反復での座標方向に沿って線形探索します。
2、深い学習フレームワーク
PaddlePaddle
PaddlePaddle Baiduのは、オープンソースとオープン深い学習プラットフォームによって開発され、それは国内初のオープンソースであり、現在は完全に機能する深学習プラットフォームです。Baiduの長期的なビジネスシナリオの気性に頼って、自然言語処理、コンピュータビジョンの分野、推奨エンジン、および事前研修のオープンいくつかの中国の大手モデル、および多くをカバーする産業用アプリケーションモデルのPaddlePaddle最も包括的な公式サポート国際的文脈におけるアルゴリズムモデルコンテストの勝者を取得します。
PaddlePaddleは密と疎の両方のパラメータをサポートし、大規模並列深い学習トレーニング、サポート千億パラメータ、効率的な並列訓練の数百、だけでなく、並列技術のような強力な深学習フレームワークの深さの調査を提供する最初のシーンパラメータ。PaddlePaddleは、大幅なパフォーマンスの優位性を予測する、強力なマルチターミナル展開機能、サーバーのサポート、携帯端末装置および他の異種ハードウェアの高速推論を持っています。現在PaddlePaddleは完璧な使用バイリンガル文書、使いやすく、シンプルで効率的な技術的特徴を形成して、安定しており、下位互換性APIを実現しました。
PaddlePaddle 3.0バージョンコアフレームワークに加えて、開発キットを学ぶの全深さにアップグレードするには、またVisualDL、PARL、のAutoDL、EasyDL、AIメーカー、深い学習ツールコンポーネントとサービスプラットフォームのセットは、より良い深学習のさまざまなレベルを満たすために開かれました開発者の開発ニーズは、広く中国企業で使用されてきた産業用アプリケーションをサポートするための強力な能力を持っているだけでなく、活発な開発者コミュニティの生態を持っています。
Tensorflow
GoogleのオープンソースTensorflowが計算されるデータフロー図（データフローグラフ）の形で使用されるオープンソースの数学ソフトウェアを使用して、C ++言語の開発です。グラフの演算ノードは、ラインは、多次元データ配列（テンソル）との間の相互作用を表す図。一つ以上のCPU、GPUのデスクトップおよびサーバ、またはモバイルデバイスに単一のAPIアプリケーションを使用して展開することができるTensorflow柔軟なアーキテクチャ。Tensorflowが最初に機械学習とニューラルネットワークの研究開発のための研究者のチームとGoogleの脳の深さによって行われた、それはオープンソースの後に、ほぼすべての分野で適用することができます。
Tensorflowでは、Google社が生産するので、社会の枠組みの中で最も大規模な、世界中のユーザーの最大数ですので、メンテナンスや更新より頻繁に、そしてPythonとC ++インターフェイスと、チュートリアルでは、非常によくもあるが、多くの論文の最初のバージョン再現書き込みがTensorflow基づいており、それは深い学習コミュニティフレームワークのデフォルトのボスです。
カフェ
そして、カリフォルニア大学バークレー校博士号嘉ヤン清によって開発された深学習の枠組みカフェ、などなど大Tensorflowの名声は、バークレービジョンセンター（バークレービジョンと学習による明確かつ効率的なオープンソースの深学習の枠組みで、高速フィーチャー埋め込むための畳み込みアーキテクチャスタンド保守のためのセンター、BVLC）。
その名前から、ネットワークのコンボリューションの支援のために特によく見られるだけでなく、C ++で書かれた、C ++インタフェースを提供するだけでなく、インタフェースとMATLAB Pythonインタフェースを提供します。
カフェは、とても人気があるので、多くのネットワークがCaffeの書き込みで使用されているゲームImageNetの前にあるので、あなたは、ネットワークモデルを使用する場合のみ、また、多くの人々につながったカフェは、カフェに直接移動これらのゲームを使用することができます下のフレーム。
プロジェクト・レベルをさらに向上されているが、高いメモリ使用量は、唯一のC ++インターフェース、既にオープンカフェCaffe2のアップグレード版を提供し、いくつかの問題を修正しながら、カフェの欠点は、十分に柔軟ではありません。
Theano
Theanoは、最も有名なブロックとKeras含む深い学習Pythonパッケージのさまざまなを、生み出した技術のモントリオール大学、2008年に生まれました。コアTheanoはあなたの構造を取得し、可能な限りCPUやGPU上で、このようなBLASとネイティブコード（C ++）などnumpyのを使用して効率的なコード、効率的な地元の図書館を作る方法を知っている数学的な表現コンパイラであります速く走ります。それが最初のようなライブラリの一つであり、特別に設計大規模ニューラルネットワークアルゴリズムの必要な深さの計算のための学習過程である（開発は2007年に開始）、業界標準の深さの調査や研究開発であると考えられています。
しかし、開発Theanoの研究者のほとんどはGoogleのTensorflow、Theanoの子供のようなので、ある程度、Tensorflowの開発に参加します。
MXNetは、最初に作るための技術開発を保持する少数の人々の膨大な熱意は、アマゾンの公式の枠組みとなっているで、筆頭著者李牧ある分散型の非常に良いサポートを持っていますが、特に優れた性能、低メモリフットプリント、同時に、それが唯一の言語インターフェイスPythonとC ++だけでなく、などR、Matlabの、スカラ座、JavaScriptを、開発していない、任意の言語を使用する人々を満たすために言うことができます。
しかし、欠点もMXNet明らかである、チュートリアルは完璧ではない、多くの人々は、ほとんどの地域での結果を使用していますが、そこに少し競争があるとの論文がMXNetがMXNetプロモーション活動を行い、意識が年々高くされていない、達成基づいています。
トーチ
トーチは、10年前に誕生した機械学習アルゴリズムの数が多い、しかし、Facebookのオープンソースの潜在的な多くのトーチ深学習モジュールと拡張から真のメリットをサポートするための科学的なコンピューティング・フレームワークです。、トーチは、特に柔軟性が特徴ですが、他には、Pythonプログラミング言語環境のほとんどは、フレームとLuaのプログラミング言語は、多くの欠点があり、深い学習の下で、プログラミング言語Luaのについての特別なを使用することですこれは、トーチのフレームワークを使用するように学習のコストを増大させる少数言語です。
PyTorch
PyTorchの前身は、トーチ、トーチおよびその基礎となるフレームワークですが、コンテンツの再書き込み多く、だけでなく、より柔軟でダイナミックなグラフィックのサポートにはPythonを使用して、だけでなく、Pythonインタフェースを提供します。これは、Torch7チームによって開発されただけでなく、強力なGPUアクセラレーションのための優先順位のPython深学習の枠組みであり、また、サポートされていないなどTensorflow、として主流の深い学習の枠組みがたくさんあるダイナミックなニューラルネットワークをサポートしています。
PyTorch両方がnumpyのGPUのサポートを追加するように見ることができるが、ニューラルネットワークが強い奥行き自動導出関数を有するようにも見ることができます。Facebookのに加えて、それはTwitterの、CMU Salesforceと他の機関に採用されています。