モデル圧縮が必要な理由
理論的には、ディープ ニューラル ネットワーク モデルが深くなるほど、非線形性の程度が大きくなり、それに応じて現実の問題を表現する能力も強化されますが、その代償としてトレーニング コストとモデル サイズが増加します。同時に、大規模なモデルを展開すると、速度が遅くなり、より優れたハードウェア サポートが必要になることが予測されます。しかし、ディープラーニングの業界への関与が高まるにつれ、多くの場合、モデルを携帯電話やIoT側に導入する必要が生じ、この導入環境はエネルギー消費量や機器のサイズによって制限されます。サイドハードウェアとストレージ容量は比較的弱く、その顕著な需要は主に次の 3 つの点に反映されています。
1 つ目は速度です。顔回転改札口や顔でロック解除された携帯電話などのアプリケーションは、応答速度に敏感であり、リアルタイムで応答する必要があります。
2 つ目はストレージです。たとえば、電力網周辺環境監視のアプリケーション シナリオでは、利用可能なメモリが 200M しかない監視デバイスに画像ターゲット検出モデルを展開する必要があり、監視プログラムを実行すると、残りのメモリが30M未満になります。
最後に、エネルギー消費量があります。モバイル デバイスの内蔵 AI モデルであるオフライン翻訳のエネルギー消費量は、バッテリー寿命を直接決定します。
上記 3 つの要求により、端末環境に応じて既存のモデルを小型化し、精度を損なうことなくモデルをより小さく、より速く、より少ないエネルギーで消費することが求められます。
しかし、どうやって小さなモデルを作成できるのでしょうか? 一般的な手法としては、より効率的なネットワーク構造の設計、モデルのパラメータ数の削減、モデルの計算量の削減、モデルの精度の向上などが挙げられます。なぜ小さなモデルを設計すればいいのかと疑問に思う人もいるかもしれません。実際のビジネスには多くのサブカテゴリがあり、タスクの複雑さも異なることを知っておく必要がありますが、この場合、効果的な小さなモデルを手動で設計することは非常に難しく、非常に高度なドメイン知識が必要です。モデル圧縮は古典的な小規模モデルに基づいて行うことができ、少しの処理でモデルのパフォーマンスを迅速に向上させ、「より高速に、より多くの節約を」という目標を達成できます。
上の図は、蒸留と定量化を使用した分類モデルをレンダリングしたもので、横軸は推論に費やした時間、縦軸はモデルの精度を示しています。画像上部の赤い星印はMobileNetV3_largeモデルによる蒸留の効果に相当し、その直下の青い星印に比べて精度が大幅に向上しています。図中の水色の星印はMobileNetV3_largeモデルに基づいて抽出・定量化した結果であり、元のモデルと比較して精度と推論速度が大幅に向上しています。手動で設計された古典的な小型モデルに基づいて、蒸留と定量化によってモデルの精度と推論速度がさらに向上することがわかります。
モデル圧縮の基本的な方法
モデルの圧縮は、次の方法で実現できます。
枝刈り: 「化学構造式の減量」と同様に、予測結果に重要ではないモデル構造内のネットワーク構造をトリミングし、ネットワーク構造をより「スリム」にします。たとえば、ネットワークの各層では、一部のニューロン ノードの重みが非常に小さく、モデルの読み込み情報に与える影響は最小限です。これらの重みの小さいニューロンを削除すると、モデルの精度に大きな影響が及ばなくなるだけでなく、モデルのサイズも小さくなります。
定量化：「量子レベルの減量」と同様に、ニューラルネットワークモデルのパラメータは一般的にfloat32データで表現されますが、float32データの計算精度をint8の計算精度に変更すると、その代わりモデル精度を少し犠牲にすることができます。計算速度が速くなります。
蒸留: 「教師が生徒に教える」と同様に、優れた効果を持つ大きなモデルを使用して小さなモデルのトレーニングをガイドします。大きなモデルはよりソフトな分類情報を提供できるため、大きなモデルに近い効果を持つ小さなモデルが得られます。モデルがトレーニングされます。
Neural Network Architecture Search (NAS) : 「化学構造式の再構成」と同様に、モデルサイズと推論速度を制約条件としてモデル構造探索を実行し、より効率的なネットワーク構造を取得します。
さらに、重み共有、低ランク分解、およびモデル圧縮を実現できるその他のテクノロジーもあります。