（実験の結論に焦点を当て、考えを見つける）
3つの古典的な軽量ネットワーク：
Squeezenet圧縮拡張Fire Module
MobileNet Depthwise深い分離可能なたたみ込み
ShuffleNetチャネルのクリーニング
今日の記事を読むSqueezenet
Squeeze Net：Alexnetレベルの精度で、パラメーターが50倍少なく、モデルサイズが0.5 MB未満、Forest N. Iandoal、Song Han、2017
イノベーション
Squeezenetは、SVD、プルーニング、量子化された8ビット量子化などの一般的な圧縮技術を使用して適切に設計された軽量ネットワークであり、精度を失うことなくモデルをさらに圧縮します。モバイルオブジェクトの検出に広く使用されています。
（大きいモデルを小さいモデルにプルーニングするよりも、最初に小さいモデルでトレーニングする方がはるかに効率的です）
1小型モデルの利点
- 1トレーニングをより効率的に配布する
- 2モデルパラメータをクラウドでより速く更新する
- 3小さなストレージとメモリの使用は、FPGAフィールドプログラマブルゲートアレイに簡単に適用できます。
2ニューラルネットワーク設計空間の探索
- 1微視的調査：各レイヤーの寸法と構成は
、同じ量のパラメーターによってcnn構造のモデルサイズと精度に影響し
ます：深くて狭いモデルは、広くて浅いモデルよりも優れています - 2マクロ調査：エンドツーエンドの組織モジュールまたはその他のレイヤー
3 SqueezeNet高精度の少ないパラメーター戦略
3.1イノベーション戦略
- 1パラメータを減らす：3 3 を1 1のたたみ込みカーネルで置き換えます（9倍削減）
- 2パラメータを減らします：入力チャネルの数を減らしますSqueezeレイヤーを使用します（1 * 1たたみ込み）
- パラメーター計算入力チャネル*カーサイズの2乗*フィルター数
- 3ポストポジショニング：機能マップを大きくリッチにする
- 複数のサイズの畳み込みカーネル計算を使用して、より多くの情報を保持し、分類の精度を向上させます
3.2火モジュール
各Fireモジュールには、3つのハイパーパラメーター
1入力チャネル（96）とFire M（M <96）1 1畳み込みを使用して次元を削減
2 2 1 1および3 * 3畳み込みの並列使用を展開して、異なる受容フィールドの特性マップを取得（開始と同様—）
3連結：フィーチャーマップのスプライシング
3.3Sqeeze net（入力224 * 224）
左側のバイパスは未使用、中央のバイパス、右側の複合施設
は、次のボックスで機能が提供されているモジュールです
4評価
ここがポイントです：Squeezenetは小さなモデルですが、定量化および圧縮することもできますが、精度にはほとんど影響しません
