論文アドレス: http://arxiv.org/abs/1811.10559
github アドレス: なし
この記事は 2018 年に公開され、フィルター相関に基づくモデル圧縮方法を提案しました。その特徴は、相関係数が確定した後、相関の強いフィルタの相関をさらに高めることで、枝刈り後のフィルタの損失を低減することです。
モチベーション
重要度指標に基づく以前の枝刈り方法では、フィルタ間の冗長性が完全には考慮されておらず、フィルタの重要性のみが考慮されていたため、枝刈りされない重要だが冗長なフィルタが存在するため、冗長性を圧縮できません。したがって、本論文では、ネットワーク圧縮率を向上させるためのフィルタ相関に基づく枝刈り手法を提案する。
メソッド
この論文では、フィルタ相関係数に基づいた反復枝刈りプロセスを提案します。そのフレーム図を図に示します:
具体的なプロセス: エピソード選択段階では、任意の 2 つのフィルターの相関係数がレイヤーごとに計算され、その相関係数がフィルターの各ペアの重要度指標として使用されます。相関係数が 0 になるほど重要であり、線形相関 次数が低くなり、±1 に近づくほど重要でなくなり、フィルタ間の線形相関が高くなります。各層は、最も重要でない N 個のフィルター ペアを抽出して、t 回目の反復枝刈りのエピソードS t S_tを形成します。Sた。最適化ステージでは、正則化項が損失関数に追加されます。
C ( θ ) C(\シータ)C ( θ )は損失関数、CS t C_{S_t}CSたは正則化項目であり、S t S_tを改善するために使用されます。Sた中央のフィルター ペアの相関係数。これは、各フィルター ペアの 1 つのフィルターをカットした後の情報損失を軽減するためです。CS t C_{S_t}CSた式は次のとおりです。
ここで、ρ XY \rho_{XY}rXY _CS t C_{S_t}の場合CSた中央のフィルター ペアのピアソン係数は適切に推定できますCS t C_{S_t}CSた減少すると、その指標項目の相関係数が増加し、相関が向上する効果が得られる。
N 個のフィルターを破棄: このステージはCS t C_{S_t}から始まります。CSた最初の N 個の重要でないフィルター ペアを選択し、各ペアのいずれかを切り取り、プルーニングされたネットワークを取得します。
その後、微調整が実行され、最大許容誤差範囲内で上記のプロセスが繰り返し実行されて、最大の圧縮が達成されます。
実験
この論文では、分類と検出の 2 つのタスクからこの方法の有効性をテストします。分類モデルには LeNet-5、VGG-16、ResNet-50、56 が使用され、検出には Faster-RCNN および SSD ネットワークが使用されます。
GPU: GTX 1080 Ti
λ \lambdaλ (正則化前のハイパーパラメータ): 1
結果
思い
この記事は、重要度指標に基づく枝刈り方法の補足であると思います。最も単純な L1、L2Norm、または最近の HRank に関わらず、ほとんどの枝刈りアルゴリズムは重要度を計算しません。重要なフィルタが存在する可能性があることを考慮して、重要度指標は計算されません。相関性が高いことも、一種の冗長性です。したがって、この方法は、二次枝刈りのために他の枝刈り方法と組み合わせることができ、より高い圧縮率を達成できる可能性があります。