関連の知識による機械学習側から見ると、以下のように要約されています。
ディープ学習：
BatchNormalizationの役割
ディープ学習：
1.BatchNormalizationの役割
BatchNormalization後、典型的には活性化関数の前に、畳み込み層を配置。
低レベルの勾配ニューラルネットワークで得られたネットワーク層の深化、活性化関数の近くに下限値間隔に徐々に活性化関数の入力値の全体的な分布に訓練されたニューラルネットワークは、ときにバックプロパゲーションを消失します。よりバイアスバック勾配が大きくかつ迅速な学習収束になるように、入力値の領域の活性化機能は、入力に敏感活性化機能を収まるようにアルハンブラは、標準配布ポイントへの標準化により作用BatchNormalization、スピード、勾配回避の問題が消えます。
BNは、ニューラルネットワークの訓練に勾配条件爆発を訓練し、それは収束速度が非常に遅い遭遇したときに解決しようとする、またはすることはできません。また、通常の使用下でBNはまた、トレーニングをスピードアップし、モデルの精度を改善するために添加されてもよいです。
2.なぜリカレントニューラルネットワークは良好です
3.グラデーションが消えます
例えば、活性化またはゼロに近い勾配に対応する入力が小さい又は大きいシグモイド関数TANH、、です。隠れ層の数の増加に伴い、ニューラルネットワークにおけるので、しかし、分類精度が低下することがあります。
どこ4.Relu幸いシグモイドよりも、
誘導体が0のみの近傍に有するシグモイドは、好ましくは、活性化され、それによって勾配拡散現象を製造、負の飽和領域に勾配0になる傾向があります。Relu勾配の部分は、0より大きい定数であるので、勾配現象が消えないしつつ。
より高速な派生Reluを計算しました。
ときニューロンの火災、勾配0値が負のRelu負の半分の領域の誘導体は、0である、ニューロンはスパース性を持つ、この研修に参加しません。
5.VGGの3x3の畳み込みカーネルを使用することの利点は何されています
2 3 * 3畳み込みカーネルシリーズと畳み込みカーネル5 * 5は、前者が少ないパラメータがあり、野生の同じ認識を持っています。
非線形関数とのコンボリューションカーネルよりも大きいサイズ層以上の3×3のコンボリューションカーネルの複数、非線形性の発現、したがってより多くの決定関数の判定を増加させます。
前記ニューラルネットワークの重みの値を共有しています
畳み込みニューラルネットワーク、リカレントニューラルネットワーク
7. RCNNは何ですか
前の出力電流出力シーケンスは、入力に関連して、中間層がないだけ含む前記入力層の出力は、隠れ層RNNネットワークアーキテクチャ上の時間を含む、ネットワーク情報は、前のメモリに適用されると入力電流の計算。
8.グループのコンボリューションとは何ですか
Nと畳み込み神畳み込みカーネルのネットワーク層は、対応するチャネルの数もNである場合 畳み込み演算を行う際、Mは、グループセットの数であり、チャネルが現在層の出力チャネルと、M部、N / Mチャネル、一緒に積み重ねられたコンボリューション出力が完了した後、各グループに対応する各グループに分割されます。
画像鮮鋭化処理や平滑化操作
エッジ強調された画像は、画像ノイズを増大させながら鮮鋭化は、高周波成分を増強することによって低減される像振れです。
高周波成分をフィルタリング、平滑化とコントラストを鮮鋭化、ノイズ低減画像の画像がぼやけています。
10.トレーニングプロセス、モデルが収束しない場合は、無効なモデルであればそう？どのようなモデルが収束しない原因は？
このモデルは無効説明していません。
これは、非収束モデルが持つかもしれない原因：
データ分類ラベルは正確ではありませんが、サンプルは、情報量が全体のサンプル空間に合うように十分ではありませんモデル化するには大きすぎます。
ボラティリティーになりやすい多くの学習率の設定は、非収束につながる小さすぎます。
分類タスクは単純なモデルによって複雑にすることができます。
データは正規化された操作ではありません。
11.LSTM各ドア式
12.ドロップアウトとは何ですか
ミニバッチ訓練の各々に対して達成するようにニューラルネットワークを訓練中に、ランダムに特定の確率の神経素子は、オーバーフィッティング防止するために、異なるネットワークの効果であり、ネットワークからドロップ。
13.DropConnect原則
オーバー防止のためのフィッティング方法。ドロップアウトの違いは、0にクリアされ、出力層のノードが隠れていない確率が、クリア一定の確率で接続された入力ノードのそれぞれの重量に応じて、ということです。
14.HOGアルゴリズム原理