深い学習の研究ノート（C）

（A）バッチの正規化残差ネットワーク

バッチ正規化（BatchNormalization）

標準化された（浅いモデル）入力
、すべてのサンプルに0に設定され、処理されたデータ内の1の標準偏差を任意の特徴を意味します。
それぞれの特徴と同様の正規化処理の入力データ配信

バッチ（奥行きモデル）正規化
全中間出力値は、各レイヤにおいてより安定であるように連続的に、ニューラルネットワークをニューラルネットワークを調整し、中間出力の平均値と少量標準差を利用して。

それぞれ、全体の接続層、層の畳み込みで、正規化された量は予測を行います。

残留ネットワーク（ResNet）

問題の深研究： CNNネットワークの深さは一定の深さに達した後、盲目的層の数を増やし、さらに持参分類性能を向上させることはできませんが、ネットワークは収束が遅くなり、精度が悪くなるにつながります。

残差ブロック（残差ブロック）
IDマッピング：
左：F（X）= X
右へ：F（X）-x = 0 （容易微細IDマッピングを捕捉する変動）
ここに画像を挿入説明
残差ブロックにおいて、クロスSTARTを介して入力されてもよいですデータリンク層、前方伝播速いです。

ResNetモデル

コンボリューション（64,7x7,3）
バッチ統合
最大のプール（3x3,2）
X4残差ブロック（残差ブロック2は、ステップ幅の高さと幅との間の各モジュールに低減されます）
グローバル平均プーリング
完全に接続されています

##密なネットワーク接続（DenseNet）
ここに画像を挿入説明
主構築ブロック：
稠密ブロック（稠密ブロック）：入力と出力が接続されている方法を定義します。
トランジション（遷移層）：これは大きすぎること、チャネルの数を制御するために使用されます。

（ii）は凸最適化

最適化と推定
最適化法は、損失関数値学習の深さを最小限に抑えることができますが、しかし、目標と最適化学習方法を達成するために、ターゲットの深さは、本質的に同じではありません。

最適化の目標：トレーニングセットの損失関数値
深学習目標：テストセット損失関数値（一般）

（C）勾配降下

勾配：この時点で方向（勾配関数に沿って数学的には、勾配は、この時点で方向の方向に沿って導関数の最大値を取得する関数を表すベクトル（ベクトル）を意図している、すなわち、最速の変化の方向）は、勾配の関数である最大変化率モールド用（勾配）は、最大値が値を増加させる方向の関数である勾配方向を取得するようなものです。

一般的に三つの方法で使用される勾配降下アルゴリズム：

バッチ勾配降下アルゴリズム
確率的勾配降下アルゴリズム
小バッチ勾配降下アルゴリズム

より多くの勾配降下缶を知るには、ここをクリックし

（IV）ターゲット検出ベース

アンカーブロックの
目標検出アルゴリズムは、より正確に真の目標（グランド真実バウンディングボックス）を予測するために、通常、入力画像領域における多数のサンプルであり、そして、我々がターゲットに興味を持っているこれらの領域を含み、境界ボックスのエッジの領域を調整するかどうかを決定します。使用の異なる領域をサンプリングする方法は、異なるモデルかもしれません。ここで、各画素のサイズとアスペクト比センター（アスペクト比）の異なる境界ボックスを複数生成する：ここでは、その方法を説明しています。これらのバウンディングボックスは、アンカーフレーム（アンカーボックス）と呼ばれています。
アンカーボックスラベルされたトレーニングセット
トレーニングセットでは、我々は学習サンプルとして、各アンカーフレーム。ターゲット検出モデルを訓練するために、我々は、各アンカータグのための2つのカテゴリのボックスをマークする必要があります：1つのカテゴリアンカーボックスをカテゴリに参照、ターゲットが含まれて、2番目は真のバウンディングボックスのアンカーボックスに対してオフセットされ、（オフセットオフセット量という）。検出対象は、我々は最初の予測の予測を得るためにオフセットに応じて、アンカーブロックの複数し、各予測クラスのアンカーブロックの位置を調整することにより、続いて、アンカーブロックを生成するときにオフセットバウンディングボックス、出力境界に最終的な予測フィルタニーズボックス。

概要

各画素の中心に、異なる大きさ及びアンカーブロックのアスペクト比を複数生成します。
そして、クロス相面積率と交差2つのバウンディングボックスの面積の比。
2番目は真のバウンディングボックスの相対的なアンカーボックスをオフセットされたワンボックスアンカーのカテゴリは、ターゲットが含まれています。トレーニングセットでは、各アンカーボックスのラベルの2種類となりました。
予測、非最大抑制は、結果が簡単であるように、同様の予測境界ボックスを除去するために使用されてもよいです。

（E）移行スタイルの画像

移行パターン
畳み込みニューラルネットワークを使用して、自動的に別の画像上のスタイルイメージを適用します。

次の図の画像の内容は、マウント・レーニア国立公園（マウント・レーニア国立公園）ショット、スタイルや画像のシアトル郊外の本の風景の著者である秋のオークの絵のテーマです。最終的に合成画像出力の場合にも、より鮮明な全体的な色、ペイントストロークのスタイル画像のアプリケーションで画像オブジェクトのボディ・コンテンツの形状を保持します。
ここに画像を挿入説明
概要

一般的な損失関数の移行パターンは、3つの部分から構成されています近いコンテンツ特性のコンテンツ画像との合成画像の内容の損失を、スタイル特性上の合成画像に画像近くのスタイルパターンの損失は、総変動合成の損失を減らすことができるように画像中のノイズ。
画像特徴は、事前訓練畳み込みニューラルネットワークによって抽出することができ、連続的に損失関数を最小化することにより合成画像を更新します。
出力パターン層グラム行列との発現パターン。