インフォメーション：
深さの研究の基本的なコース
深い学習講座-第一段階をレクチャー：深い学習の基礎
フロント：
深い学習の基礎のいくつかを理解している
それらの意味についての詳細
図一般化
インフラユニット
- オペアンプはすべて、それが何を意味するか知っている必要があります
- 完全に接続された層のオペアンプ
- OP畳み込み層
- ...
アクティベーション機能
- なぜ、ニューラルネットワークの非線形活性化関数の源であります
- 活性化関数の範囲
- 活性化関数の微分
損失関数
- ネットワークを調整します。
- ネットワーク構造を調整します
- 調整後損失関数
- 例えば：重み関数への損失
- 損失関数の物理的意味
- 損失関数の微分
ネットワークトレーニング
- 伝播アルゴリズムをバックエラー
- どのようにパラメータ更新を行います
- ミニバッチSGD
- AdaGrad
- ...
深い学習-詳細な最適化アルゴリズムのオプティマイザ
- あなたは、SGDパラメータがそれを更新することができませんか？このようなNAG、LSTMを使用するなど、
- 学習速度を制御する方法
- 学習率適応アルゴリズム
- どのようにパラメータ更新を行います
- 最適化：
- 以下のために最適化されました：
- ネットワークの精度を最適化
- ネットワークトレーニングの速度を最適化
- 最適化の意味します：
- サンプルの重み
- 重量区分
- 損失重み関数
- ...
- 以下のために最適化されました：
完全接続層
コンボリューション層
- スパース接続
- 共有重み
- 大幅なパラメータの数を減らします
- 畳み込み演算
- 理解の直感的なレベル
- コンピュータの特定の実装
- 高速マルチチャンネルコンボリューション（操作に基づくIm2Col）
- バックプロパゲーションプロセスを記述するために、実際の必要に応じて
- これは、技術革新の基盤となる基礎を理解することです
デコンボリューション
逆コンボリューション処理、信号復元を達成するために
-
特定の目的：
- 完全なコンボリューション・ネットワーク（FCN）
- オブジェクトセグメンテーションは、各画素を分類する必要があります
- デコンボリューション層のアップサンプリング（upsamping）が必要です
- 完全なコンボリューション・ネットワーク（FCN）
-
生成対決ネットワーク（GAN）
- デコンボリューションは、画像を生成するために使用されます
プーリング層
不変の特性を紹介（批判されて背後にある理由である）：特性
の可能な欠点：失われた情報がより正確な記述
-
特徴表現の堅牢性を向上させるために、
- 堅牢な特徴表現とは何ですか
-
プールの方法
- マックスプーリング
- プーリングの意味
- ランダムプール（すなわち、加重平均が所望呼ばれて使用されます）
アクティベーション機能
sigmod导数的范围：(0, 1/4]
tanh导数范围：（0，1]
--> 使用tanh 梯度下降收敛速度比sigmod快
- 現在、最通用またはrelu
- reluは、より良いデータ性能の一貫性を持っています
- 異なるネットワーク構造、異なるデータセット内の他の活性化機能は、パフォーマンスの結果は非常に異なる場合があります...
- reluの使用は、事前研修はその意味を失っ作ると言われています
- 原則論文は、まだ非常に貴重な議論であります
脱落
- BN紙に述べたが、BN場合、あなたはそれ以外の場合は、収束の速さを削減する、ドロップアウトを使用する必要はありません
思考は：ドロップアウトは、常にいくつかの接続が失われることはありません
不是丢掉，而是让某些神经元输出变成0，但是神经元之间的连接还是保留的，即权重还是保留的
在反向传播的过程中，不调整那些被选中的w
質問：なぜ、ドロップアウト効果
- この式のさらなる理解のための必要性
BN（バッチ正規化）
- 各バッチの正規化されたデータに標準的な操作
- 少ない平均
- 分散に加え、
質問：モデルを使用する場合、どのようにデータの予測サンプルに対処します
在训练的时候，会计算出平均的均值与方差 ～
実験は、BNは非常によく（損失がそれの収束を加速する必要があります）ネットワークのコンバージェンス深さを加速する可能性があることを示して
バッチ繰り込み
随着深度网络的加深
每一batch的样本数越来越少
最后 moving average 计算出来的均值和方差就越来越不准了
平均的な思考を動かします