ここで仕事を探しているとき、私は2018年7月には、個々に基づいてレビュー（Basemodel）が基礎となるネットワークを総括学んだことです。
その中で、唯一の私は、基本的なネットワーク、時系列順に簡潔な概要のより重要なシリーズを考えて選びます。
間違った場所を精緻化した場合、親切に指摘しました。
LeNet
時間
1998
意味
- CNNの打ち上げマーク本物。
利点
- これは、高い文字認識に比べて99％の正解率を達成しました。
短所
- 何のGPUは、非常に時間がかかるLeNetを訓練し、ありませんでした。
- 非OCRタスク、SVMよりもさらに悪いです。
アプリケーション
- OCR（米国郵便システムなど）。
AlexNet
時間
2012
意味
- それは偉大な開発の複雑なモデル、CV領域にCNNの有効性を示す「パンク。」
- ImageNet2012 1日。
革新
- データレベル：
- ImageNet質量データを用いて、（フィッティングオーバー防止のため）。
- （オーバーフィッティングを防ぐために）データ拡張を使用します。
- ネットワークレベル：
- 過学習脱落を防止するために添加されました。
- Relu活性化関数、勾配の消失の上方を避けます。
- （2015相アウト後に現れたBN）パーシャルレスポンス正規化（LRN）、近くに正規化されないためにデータを使用しています。
- ハードウェアレベル：
- GPUを使用して、迅速な収束（二重パイプラインは、紙、すなわち平行デュアルGPUを表します）。
利点
8の天井層、深さを破ります。
アプリケーション
- R-CNN。
- SPPNet。
ZFNet
時間
2013
意味
- CNN視覚的特徴のデコンボリューションを使用して、階層にCNNの洞察力。
アプリケーション
- より高速なR-CNN。
インクルード
意味
- 多層パーセプトロン（完全に接続された多層組成物層及び非線形関数）は畳み込み層線形前CNNを簡単に置き換えます。ソースのすべての抽象化と表現能力の非線形深さ試験、及び従って同等のため、「非線形を増加させる層の間ガッサーMLP。」
アプリケーション
- Inceptionv1で基準の。
GoogleNet
時間
2014
意味
- インセプションシリーズを開いて、Inceptionv1提案。
- 新しいネットワークの新しいレコードの深さを設定したネットワークの深さを更新します。
- 次元削減の最初の提案された方法はCONV1×1です。次元削減の最初の提案された方法はCONV1×1です。
革新
- NIN同様の構造、すなわち、元のノードは、サブネットワークです。
利点
- パラメータ少ないです。
短所
- 複雑な構造。
バリアント
- Inceptionv2 / 3/4、Xception
アプリケーション
- YOLOv1。
VGGNet
時間
2014
意味
- ImageNet2014は、第1、第2分類タスクをタスクを配置します。
革新
- 大きな畳み込みカーネルを置き換えるために、小規模なネットワークの畳み込みカーネルの普及。
利点
- ネットワークアーキテクチャ超簡単な、高度にモジュール化。
- 畳み込みカーネルは小さな畳み込みカーネルスタック後の受容野の同じ大規模、およびパラメータの少量で達成することができます。
- ネットワーク層深まる - >ネットワーク容量を強化します。
短所
- モデルあまりにも（最後の3つのFC層のパラメータのほとんど）、非効率的。
- 重ね合わせ畳み込みカーネル手段その層の数が増加、ネットワーク全体の総計算量の増加につながります。
- より大きなリスク勾配に層リードの数を増やします。
構造
畳み込みは、5つのスケールは、それぞれが2畳み込み、3層の畳み込みを含む第二層3-4を含む各々は、FCは、3によって最後終了ソフトマックスに従いました。
アプリケーション
- 高速R-CNN;
- 高速R-CNN。
- SSD。
深刻
時間
2015
意味
- 現在主流のbasemodel。
- ImageNet2015チャンピオン。
- CVPR2016最優秀論文。
革新
- 高速道路ネットワークの異なる層の間のマッピングの最初の設計、及びResNet高速道路ネットワークの簡略化設計、マッピングは、隣接するモジュール間のみ行わ。もう一度、勾配は、問題を緩和し、再び天井のネットワーク層を破りました。一方で、デザインも早くトレーニングが非常に速い収束することができます。
分析
なぜ有効：
- 学ぶためにモデル、常にIDマッピングの構造の一部がありました。オリジナルの「シリアル」のネットワークは、このマッピングを学ぶことは困難です。ResNetヘルプモデルへの制約の増加を表すには簡単にIDマッピングを学びました。
- 残留に目標を学習、IDマッピングを追加した後、本来の目的よりも、学ぶことが非常に簡単です。
- IDマッピングの視点、そして深いResNetの事実ではなく、いくつかの層を立ち。
考えます
- ResNet 50の以上の層が使用CONV1×1を持っている、それは次元削減を考えることです。
バリアント
- ResNeXt;
- DenseNet；
- DPN。
アプリケーション
- R-FCN。
- FPN（+高速R-CNN）。
- R-CNNをマスク。
- RetinaNet。
DenseNet
時間
2016
意味
- CVPR2017最優秀論文。
革新
- 「多くのアイデンティティマッピング1」になって「シリアルタイプの1つのIDマッピング」のオリジナルResNetは、デザインが比較的簡単です。
考えます
- それが唯一のアイデンティティのマッピングResNetを繰り越すことがあるので、このアイデアは、多くの人々は、すべてのテキストは素晴らしいではない、と考えることができます。
アプリケーション
- ブラシリストを再生します。
- 紙ブラシAP。
Xception
時間
2016
意味
- いくつかの軽量1のbasemodelの最も主流。
革新
- 当社グループは、シリアルパラレルタイプ以前に使用したグループを置き換えます。（シリアルモジュールを担当するグループは、分離可能なコンボリューションと呼ばれています）
利点
- パラメータは、最小限の、超小型のモデルとなりました。
短所
- 特徴抽出機能が貧弱です。
バリアント
- Xception145;
- Xception39。
ResNeXt
時間
2016
革新
で置き換え、元ResNetの単純な「残留アーキテクチャ」「残留構造のインセプションバージョン。」
利点
ImageNetに速くResNet分類結果わずかに良い点より収束させることができます。
短所
コンプレックス。
アプリケーション
- ブラシリストを再生します。
- 紙ブラシAP。
DPN
時間
2017
革新
- ダブルパイプライン。片側がResNetで、片側は、パイプラインは、2つの互いに補完可能としても知られている、DenseNetあります。
アプリケーション
- ブラシリストを再生します。
- 紙ブラシAP。
概要
ResNetアウトする前に、basemodelはGoogleNetに、支配的なAlexNetから消えやVGGNetは世界期間を分割します。ResNet後、そのシンプルさとパワフルに出、basemodelの絶対的なベンチマークになります。
今日では、専門家は、一般的なプロセスであり、次のとおりです。
- アルゴリズムの有効性を検証するResNet-50との最初の。
- アルゴリズム（モバイル端末に、例えば、地面）の速さを追求するならば、このアルゴリズムはbasemodel Xception、シャッフルの交換、ResNet-50という点で効果的であるとき、あなたは精度（例えば、AP紙ブラシ、ブラシプレイリスト）を追求したい場合は、 basemodelはその後ResNet-101 / ResNeXt / DPNを置き換えます。
- 列車のステージは、通常、直接事前に訓練を受けたbasemodel、微調整Aに、20エポックは、独自のデータセットにすることができます。
