T-PAMI2023: パフォーマンスを考慮した近似に基づくマルチタスク モデルの PAGCP グローバル チャネル プルーニング
概要
この論文では、マルチタスク CNN モデルのグローバル チャネル プルーニングのためのフレームワーク PAGCP を提案します。著者らは、グローバル プルーニングの観点から、モデル圧縮問題を共同チャネル顕著性インデックス最適化問題としてモデル化します。この問題は、マルチタスク モデルの圧縮パフォーマンスに対する層間チャネルと層内チャネルの共同効果を考慮します。そして、この問題の分析を通じて、おおよその最適化目標が得られ、パフォーマンスを意識したオラクル基準に基づいた逐次貪欲チャネルプルーニングアルゴリズムが提案されます。このアルゴリズムは、正則化ペナルティ項を課すことなく、マルチタスク モデルに存在するグローバル冗長チャネルを効率的に決定し、制御可能な圧縮損失の効果を達成できます。効率的なパフォーマンス圧縮方法を実現するために、著者は、提案されたプルーニング圧縮フレームワークには次の利点があると述べました。
- トレーニング済みモデルの各層チャネルの結合グローバル チャネル プルーニングは、通常の制約トレーニングを必要とせずに実現され、圧縮効果は通常の制約を使用した圧縮方法よりも優れており、追加のトレーニング オーバーヘッドが削減されます。
- モデル圧縮率を最大化する場合、マルチタスク モデルの圧縮損失を制御できるため、従来の感度解析やグローバルしきい値設定ではマルチタスク モデルの圧縮パフォーマンスを制御できないという問題が解決されます。
- 1 段階および 2 段階のターゲット検出モデル、密集予測のためのマルチタスク モデル、およびわずかな減少の場合の分類タスクなどを含む、さまざまな下流タスクとさまざまなモデル構造に広く適用可能エンドサイドデバイスのパフォーマンス最大3.3 倍の加速効果
著者は、PAGCP アルゴリズム フレームワークを SSD、FasterRCNN、CenterNet、YOLOv5、MTI-Net などのマルチタスク モデルに適用し、PASCAL VOC、COCO、NYUD_V2、PASCAL Context などの複数のベンチマーク データ セットで実験を実施しています。実験によると、複数のモデルの FLOP またはパラメータ量が 60% 以上圧縮された場合、パフォーマンスの低下はわずかであり、同じ計算規模とモデル構造の下で既存の高性能モデルを上回り、推論速度が大幅に向上します。オリジナルモデルです。たとえば、PASCAL VOC では、YOLOv5m はパラメータの 78% と FLOP の 65% を圧縮した後でも 81.7% mAP のパフォーマンスを維持し、元のモデルと比較して mAP の損失は 1.5% のみです。COCO では、YOLOv5m はパラメータの 71% を圧縮します。 61 %FLOPs 後でも 41.0%mmAP を維持していますが、これは元のモデルと比較してわずか 2.6%mmAP の損失です。
用紙情報
- 論文のタイトル: マルチタスク CNN のグローバル チャネル プルーニングのパフォーマンスを意識した近似
- 発行者: 復旦大学、上海人工知能研究所
- 論文アドレス: https://arxiv.org/pdf/2303.11923.pdf
- コードアドレス: https://github.com/HankYe/PAGCP
モチベーション
CNN モデルの枝刈りアルゴリズムでは、妥当性検証のほとんどは単純な分類タスクに基づいていますが、実際のモデルを実装する際には、多くの場合、マルチタスク学習 (MTL) モデルの圧縮と展開が必要になります。MTL モデル自体の主な関心事は、マルチタスク推論の効率を向上させることであるため、マルチタスク モデルに枝刈りアルゴリズムを適用して、エッジ デバイスやリアルタイム システムなどにモデルを展開することが非常に重要です。ただし、マルチタスク モデルの枝刈りは、シングルタスク モデル (分類モデルなど) よりも困難です。これは、マルチタスク モデルの畳み込みカーネルは、通常、同時に複数のタスクに使用できる特徴表現を学習する必要があるためです。コンボリューション カーネルは、より強い相関関係と相互作用を示します。つまり、特定のコンボリューション カーネルを枝刈りすると、マルチタスク モデルに対する他のコンボリューション カーネルの寄与に影響します。
- 例えば、他のコンボリューションカーネルが枝刈りされると、各タスクに対するコンボリューションカーネルの感度ランキング（つまり、コンボリューションカーネルの削除による各タスクの性能低下のランキング）が変化する可能性がある。さらに、他のコンボリューション カーネルを枝刈りした後に、任意の 1 つのコンボリューション カーネルの注目領域が変化する可能性があり、その結果、各タスクへのパフォーマンスの寄与が変化します。図 1 は、同じカーネルのアテンション マップ内の高応答領域が、他のカーネルの枝刈りによって大きな影響を受ける可能性があることを示しています。
図 1. 枝刈りプロセス中、他の畳み込みカーネルが枝刈りされることにより、畳み込みカーネルの注目領域が変化します。(a)は注目領域を減らした場合、(b)、(c)、(d)は注目領域を増やした場合です。
全体として、マルチタスク モデルの枝刈りプロセスでは、状態が動的に変化するコンボリューション カーネルの重要性 (つまり、重要度) により、モデルが推論パフォーマンスとのバランスを見つけることが困難になります。および圧縮中のモデルの圧縮率。この問題と課題は、これまでのシングルタスク モデルにおける主流のグローバル プルーニング プロセスではほとんど考慮されていませんでした。主な理由は、シングルタスク モデル (分類タスクを例にとります) では、背景特徴や低レベル (低レベル) 特徴などの特徴の冗長性が高く、他の特徴がオブジェクトの分類に与える影響が限定的であるためです。コンボリューションカーネルの重要度が途中で変化しても、圧縮性能にはほとんど影響しない 冗長コンボリューションカーネルの重要度の評価に誤りがある場合、同様の特徴が多数存在するモデルを補うために。
これまで、マルチタスク モデルの枝刈りアルゴリズムは、モデルの移行(微調整のために枝刈りされた分類モデルをマルチタスク モデルのフレームワークに組み込む) またはアルゴリズムの移行(分類モデルの枝刈りアルゴリズムをマルチタスク モデルに移行する)に主に焦点を当てていました。これら 2 つの移行方法は、一方では、前述のコンボリューション カーネル間の共同影響を無視し、他方では、タスク間の特徴の不一致の問題 (マルチタスクで必要な特徴) を無視します。タスク モデルはシングルタスク モデルで必要なモデルを超えています)、特徴空間の不一致)。
上記の分析に基づいて、本論文はマルチタスクモデルの枝刈り目標について深く考え、マルチタスクモデルの特性に適合する統一枝刈りフレームワークPAGCPを提案する。以前のマルチタスク モデル圧縮アルゴリズムと比較して、PAGCP はプルーニング テクノロジを使用することによってのみ、ダウンストリーム マルチタスク モデルで高圧縮率と高性能のバランスを直接実現できます。
図 2 PAGCP フレームワーク図。
PAGCP フレームワークを図 2 に示します。プロジェクト実装の中心的な設計は次のとおりです。
- モデルの各層の枝刈り順序は、モデルに対する各層の FLOP 寄与に応じて昇順または降順に配置されるように設計されており、各ステップでは、再配置された層から層を選択して層内でチャネル枝刈りを実行します。この再配置のアイデアは、ジョイント チャネル顕著性の最適化に基づく圧縮基準のその後の実装への道を開きます。
- 各ステップのレイヤー枝刈りプロセスでは、前ステップの枝刈り後のモデル構造と、前ステップの枝刈り後のマルチタスク損失状態ベクトルが導入されます（ベクトルの各要素が損失の各項目になります）。この状態では、既知のタスク感度と制御可能なモデル パフォーマンスを備えたチャネル プルーニングが、現在の層の圧縮に対して実現されます。
- すべてのレイヤーの圧縮率を決定した後、設定された圧縮率の下で FLOP に対する各レイヤーの圧縮寄与を再評価し、最終的な枝刈りに最大の寄与を持つレイヤーを選択します。これにより、重要ではないが重要な圧縮効果を持つレイヤーが保持されます。モデルのパフォーマンスが犠牲になっているレイヤーを対象にして、モデルの圧縮率とモデルのパフォーマンスの間のより良いバランスを見つけます。
PAGCP フレームワークは、さまざまなタスク シナリオおよびさまざまなモデル構造に適しています。論文の中で著者らは、これを高圧縮率および高性能のケースに適用することの有効性を示しています。さらに、著者は、単純な分類モデル圧縮 (マルチタスクの特殊なケースとみなすことができます) に適用されるフレームワークの有効性も実証しました。たとえば、ImageNet では、ResNet50 の FLOPs 圧縮率は 60%+ です。 0.14%Top -1 の加速性能しか低下しません。
方法
この論文の目標は、任意の数の異なる畳み込みカーネル間の共同重要性を研究することによって、より優れたグローバル プルーニング戦略を達成することです。著者は、重要度指数 (重要度指数とも呼ばれる) に基づく枝刈り最適化問題から開始し、通常のペナルティ項目を導入する従来の方法には勾配競合の問題があり、その結果モデル パラメーターが目標値から逸脱することを分析します。最適化における元の最適点、元の最適点における各チャネルの重要性を変更します。この問題に基づいて、著者は枝刈りの最適化目標を次のように調整することを提案します。
min θ ∈ Ω E x ∼ D x [S ( x ; θ ) ] st g ( θ ) ⩽ α 。\min_{\boldsymbol{\theta }\in \varOmega} \,\,\mathbb{E}_{x\sim D_x}\left[ \mathcal{S}\left( x; \boldsymbol{\theta}\ right) \right] \,\,\text{st }\boldsymbol{g}\left( \boldsymbol{\theta } \right) \leqslant \boldsymbol{\alpha}。θ∈Ω __分E× 〜D×[ S( x ;私）]stg _(私)⩽。 _
具体的には、著者らは、モデル パラメーターの重みを変更せずに、有意性インジケーターに対してのみ制約付き最小化検索を実行するように最適化目標を調整します。このうち、制約項目は、モデルの枝刈り後の性能損失制約と計算量制約に調整されます。これにより、モデル パラメーターが最適な点にあり、より正確な重要性評価が得られます。
理論的分析
一般的に言えば、どのような畳み込みカーネルでも ( ll 番目のレイヤーl、k 番目k 個の畳み込みカーネルを例にとると、そのバイナリ マスクはθ lk \theta_{lk}私lk _, θ lk = 0 \theta_{lk}=0私lk _=0はコンボリューション カーネルを削除することを意味します。それ以外の場合は保持されます)、およびその有意性インデックス\mathcal{}S ( x ; θ lk ) \mathcal{S}(x;\theta_{lk})S ( x ;私lk _）は次の式で表すことができます。
S ( x ; θ lk ) = ∥ f ( x ; θ lk ) − f ( x ; θ lk = 0 ) ∥ r ≜ S lk ( x ) , \begin{aligned} \mathcal{S}\left(x; \theta_{lk}\right) &= \lVert \boldsymbol{f}\left( x; \theta _{lk}\right) -\boldsymbol{f}\left( x;\theta _{lk}=0 \right) \rVert _r\\ &\triangleq\mathcal{S}_{l}^{k}\left(x \right), \end{aligned}S( x ;私lk _)=∥ f( x ;私lk _)−f( x ;私lk _=0 ) ∥r≜S私ｋ( × )、
ここでf ( ⋅ ) : R m ⟶ R n \boldsymbol{f}(\cdot): \mathbb{R}^m\longrightarrow\mathbb{R}^nf (⋅):Rメートル⟶Rnは、モデル予測損失 [1] や次の層の活性化マップの出力 [2] など、モデルの事前定義された状態関数です。m、nm、nメートル、n はそれぞれ入力xxx、状態f \boldsymbol{f}f 、 rrの寸法r は標準の順序です。有意性インデックスの定義は、ユークリッド空間における 2 つの高次元状態間の距離を測定し、状態変化の強度は、コンボリューション カーネルがxxの入力にあることを示します。xの重要性。
同様に、任意の 2 つの畳み込みカーネル ( pp付き)p层，第 u u uコンボリューション カーネルとqqthレイヤーq 、レイヤーvvvコンボリューションカーネルを例として、それらのバイナリマスクはそれぞれθ pu 、θ qv \theta_{pu}、\theta_{qv}私ぷぅ_、私q v, θ pu , θ qv = 0 ,\theta_{pu}, \theta_{qv}=0、私ぷぅ_、私q v=0 は2 つの畳み込みカーネルを同時にプルーニングすることを意味します)、およびその有意性インデックス\mathcal{}S ( x ; θ pu , θ qv ) \mathcal{S}(x;\theta_{pu},\theta_{qv})S ( x ;私ぷぅ_、私q v）は次の式で表すことができます。
S(x; θ pu, θ qv) = ∥ f(x; θ pu, θ qv) − f(x; θ pu, θ qv = 0) ∥ r ≜ S pquv(x), \begin{aligned}\ mathcal{S}\left(x;\theta_{pu},\theta_{qv}\right)&=\lVert \ball シンボル{f}(x;\theta_{pu},\theta_{qv}) -\ボール記号 {f}( x;\theta_{pu}, \theta_{qv}=0) \rVert _r\\ &\triangle\mathcal{S}_{pq}^{uv}\left(x\right) 、\end{整列}S( x ;私ぷぅ_、私q v)=∥ f ( x ;私ぷぅ_、私q v)−f (x;私ぷぅ_、私q v=0 ) ∥r≜Spq紫外線( × )、
S ( x ; θ pu , θ qv = 1 ) の場合、 \mathcal{S}\left(x;\theta_{pu},\theta_{qv}=1 \right )S( x ;私ぷぅ_、私q v=1 )入力としてxxとして定義xでの同時有意性。 S pquv ( x ) \mathcal{S}_{pq}^{uv}\left(x \right)Spq紫外線( x ) , S ( x ; θ pu = 0 , θ qv = 1 ) ,\mathcal{S}\left(x;\theta_{pu}=0,\theta_{qv}=1\right)、S( x ;私ぷぅ_=0 、私q v=1 ) θ pu \theta_{pu}として定義私ぷぅ_θについてqv \theta_{qv}私q vの条件付き有意性は、S qv ∣ pu ( x ) \mathcal{S}_{q}^{v}|_{p}^{u}\left( x \right) として記録されます。Sqv∣pあなた( × )。上記の定義に基づいて、次のプロパティを取得できます。
定理 1 : 任意の 2 つの畳み込みカーネルについて、それらの顕著性インデックスの定義が上記の定義を満たす場合、次の不等式が成り立ちます。
S pquv ( x ) ⩽ S pu ( x ) + S qv ∣ pu ( x ) 。\mathcal{S}_{pq}^{uv}\left( x \right) \leqslant \mathcal{S}_{p}^{u}\left( x \right) + \mathcal{S}_{ q}^{v}|_{p}^{u}\left( x \right)。Spq紫外線( × )⩽Spあなた( × )+Sqv∣pあなた( × )。
平等は次の場合にのみ成り立ちます
f ∈ Φ f = { f ∣ f ( x ; θ pu = 0 ) = Mid { f ( x ; θ pu = 1 ) , f ( x ; θ pu = 0 ) , f ( x ; θ pu , θ qv = 0) } , ∀ x ∈ D x } 。\begin{aligned}\boldsymbol{f}\in\varPhi _f=\{ \boldsymbol{f}&|\boldsymbol{f}\left( x;\theta _{pu}=0 \right)\\=& \mathrm{mid}\{ \boldsymbol{f}\left( x;\theta _{pu}=1 \right) 、 \boldsymbol{f}\left( x;\theta _{pu}=0 \right) ,\\&\boldsymbol{f}\left( x;\theta _{pu},\theta _{qv}=0 \right)\},\forall x\in D_x\}.\end{aligned}f∈ファイふ={ f=∣ f( x ;私ぷぅ_=0 )ミッド{ f( x ;私ぷぅ_=1 )、f( x ;私ぷぅ_=0 )、f( x ;私ぷぅ_、私q v=0 ) } 、∀ ×∈D×} .
上記の定理は、任意の 2 つの畳み込みカーネルの結合重要度の上限が、一方の畳み込みカーネルの独立重要度と、もう一方の畳み込みカーネルの条件付き重要度の合計であることを示しています。これが著者にインスピレーションを与え、元の目的関数の最適化問題を上限の最小化問題に単純化しました。
実際、定理 1 は、任意の数の畳み込みカーネルの場合に拡張できます。NNありN 個のコンボリューション カーネルの場合、次の式が成り立ちます。
S l 1 l 2 。。。l N k 1 k 2 。。。k N ( x ) ⩽ S l 1 k 1 ( x ) + ∑ i = 2 NS liki ∣ l 1 。。。li − 1 k 1 。。。ki − 1 ( x ) \mathcal{S}_{l_1l_2...l_N}^{k_1k_2...k_N}\left( x \right) \leqslant \mathcal{S}_{l_1}^{k_1} \ left( x \right) +\sum_{i=2}^N{\mathcal{S}_{l_i}^{k_i}|_{l_1...l_{i-1}}^{k_1... k_{i-1}}\left( x \right)}S私1私2... lNk1k2... kN( × )⩽S私1k1( × )+i = 2∑NS私私はk私は∣私1... li − 1k1... ki − 1( × )
その中li ∈ { 1 , 2 , . 。。, L } , ki ∈ { 1 , 2 , . 。。, K li } l_i \in \left\{1,2,..., L\right\}, k_i \in \{1,2,..., K_{l_i}\}私私は∈{ 1 、2 、... 、L }、k私は∈{ 1 、2 、... 、K私私は}はそれぞれiii 個の畳み込みカーネルが配置されているレイヤー インデックスとチャネル インデックス
上記の定理に基づいて、元の目的最適化問題は近似上限最小化問題に変換できます。
min θ E x ∼ D x [ S l 1 k 1 ( x ) + ∑ i = 2 NS liki ∣ l 1 。。。li − 1 k 1 。。。ki − 1 ( x ) ] 、 st g ( θ ) ⩽ α 。\begin{aligned} \underset{\boldsymbol{\theta}}{\min}\,\, & \mathbb{E}_{x\sim D_x}\left[ \mathcal{S}_{l_1}^{ k_1} \left( x \right) +\sum_{i=2}^N{\mathcal{S}_{l_i}^{k_i}|_{l_1...l_{i-1}}^{k_1 ...k_{i-1}}\left( x \right)} \right],\\ & \text{st}\,\,\,\, \boldsymbol{g}\left( \boldsymbol{\ theta } \right) \leqslant \boldsymbol{\alpha }.\end{aligned}私分E× 〜D×[ S私1k1( × )+i = 2∑NS私私はk私は∣私1... li − 1k1... ki − 1( × ) ]、セントg(私)⩽。 _
目的関数は、共同重要度の最小化が、複数の条件付き重要度を組み合わせた独立した重要度からなる多目的最小化によって近似できることを示しています。したがって、著者はそれを段階的に最適化することを検討します。ステップバイステップの最適化を実現するために、制約はステップバイステップの制約によってさらに近似されます。具体的な最適化戦略を以下に紹介します。
最適化戦略: 順次的な貪欲なプルーニング
まず、ステップバイステップの最適化の各ステップの最適化目標を次のように決定します (ll を取得します) 。lステップは例として示します):
min θ l E x ∼ D x [ S lk 1 ( x ; θ ) + ∑ i = 2 K l S lki ∣ lk 1 。。。ki − 1 ( x ; θ ) ] , st g ( θ l ) ⩽ α l , \begin{aligned} \underset{\boldsymbol{\theta}_l}{\min}\,\, & \mathbb{E} _{x\sim D_x}\left[ \mathcal{S}_{l}^{k_1}\left( x;\boldsymbol{\theta} \right) + \sum_{i=2}^{K_l}{ \mathcal{S}_{l}^{k_i}|_{l}^{k_1...k_{i-1}}\left( x;\boldsymbol{\theta} \right)} \right], \\ &\text{st}\,\,\,\, \boldsymbol{g}\left( \boldsymbol{\theta}_l \right) \leqslant \boldsymbol{\alpha}_l,\end{aligned}私私分E× 〜D×[ S私k1( x ;私）+i = 2∑K私S私k私は∣私k1... ki − 1( x ;私）]、セントg(私は私)⩽ある私、
その中θ l , α l \boldsymbol{\theta}_l, \boldsymbol{\alpha}_l私私、ある私llのためにlステップ最適化におけるローカルの最適化対象マスク パラメーターと制約境界ヒューリスティックな段階的手法では、マスク パラメータ セットをレイヤのセットに従って分割し、各ステップでレイヤ内のマスク パラメータを最適化し、レイヤの数に応じてグローバル制約境界をいくつかのローカル制約境界に分割します。 。各ステップにおける最適なオブジェクトの選択、つまりレイヤーの選択では、拘束境界の縮小傾向に応じて貪欲にレイヤーの順序が決定されます。具体的には、局所的な制約境界の範囲が徐々に減少する場合、圧縮寄与が大きいレイヤの枝刈りが優先されます。つまり、圧縮寄与が大きいレイヤには、より緩和された制約境界が与えられるため、全体の圧縮率が向上します。モデルの方が高いです。
段階的手法を決定した後、目的関数の具体的な形式、つまり有意性指標の具体的な形式を決定する必要があります。最適化の各ステップで、サブ最適化問題を、層内のコンボリューション カーネルの条件付き重要度から構成される複数ステップの最適化問題に、層内の条件付き重要度の各組み合わせを横断することで、大きな成果が得られます。部分問題の最適化に影響を与えるため、莫大な探索コストがかかります。したがって、著者は顕著性インデックスを畳み込みカーネルの重みℓ 1 \ell_1とほぼ同じになるように設計しました。ℓ1-標準フォーム。したがって、各コンボリューション カーネルの重要度特性は定理 1 を満たすと同時に、その層内のコンボリューション カーネルの重要度から独立しており、他の層内のコンボリューション カーネルの枝刈り状態によってのみ影響を受けます。具体的な表現は以下の通りです。
f ( x ; θ l 1 k 1 , . . . , θ l N k N ) = ∑ i = 1 N θ 不等式 ∥ ω 不等式 ( θ l 1 k 1 , . . . , θ l N k N ) ∥ ; Sl1、. . . . . . . . 、l N k 1、. . . . . . . . , k N ( x ) = ∑ i = 1 N ∥ ω like ( θ l 1 k 1 , . . , θ l N k N ) ∥ 1 , \begin{aligned} f(x;\theta_{l_{1 }k_{1}},..., \theta_{l_{N}k_{N}}) &=\sum_{i=1}^{N}{\theta_{l_{i}k_{i}} }\lVert \ball シンボル{\omega}_{l_{i}k_{i}}(\theta_{l_{1}k_{1}}, ..., \theta_{l_{N}k_{N} } ) \rVert_1; \\\mathcal{S}_{l_1,..., l_N}^{k_1,..., k_N}(x) &= \sum_{i=1}^{N}\lVert \ball シンボル{\オメガ }_{l_{i}k_{i}}(\theta_{l_{1}k_{1}}, ..., \theta_{l_{N}k_{N}}) \rVert_1,\end{整列 } }f ( x ;私私1k1、... 、私私NkN)S私1、... 、lNk1、... 、kN( x )=i = 1∑N私私私はk私は∥・ω・私私はk私は(私は私1k1、... 、私私NkN) ∥1;=i = 1∑N∥・ω・私私はk私は(私は私1k1、... 、私私NkN) ∥1、
θ l 1 k 1 , . . , θ l N k N ) \ball シンボル {\omega}_{l_{i}k_{i}}(\theta_{l_{1}k_{1} }おお私私はk私は(私は私1k1、... 、私私NkN)は、枝刈り状態(θ l 1 k 1 , . . . , θ l N k N ) (\theta_{l_{1}k_{1}}, ..., \theta_{l_{N}k_ {N}})(私は私1k1、... 、私私NkN)最初のli l_{i}私私は层第 k i k_i k私はコンボリューションカーネルの重み。この定義に基づいて、各部分最適化問題の形式は次のように単純化できます。
min θ l ∑ i = 1 K l S lki ( θ ) st g ( θ l ) ⩽ α l 。\underset{\boldsymbol{\theta}_l}{\min}\,\,\sum_{i=1}^{K_l}{\mathcal{S}_{l}^{k_i}\left( \boldsymbol{ \theta} \right)}\,\,\, \text{st}\,\boldsymbol{g}\left( \boldsymbol{\theta}_l \right) \leqslant \boldsymbol{\alpha}_l。私私分i = 1∑K私S私k私は(私)セントg(私は私)⩽ある私。
これにより、部分最適化問題で、層内のすべての畳み込みカーネルの共同重要度を線形時間で取得できるようになります。
制約のレイヤーごとの分解では、著者はマルチタスクの特性に従って各ステップの制約を個別に設計します。具体的には、著者は、異なる畳み込みカーネルによって抽出された特徴は、異なるタスクの異なる重要度を反映する必要があると提案しています。
ターゲット検出モデルを例にとると、ほとんどの浅い畳み込みカーネルは、回帰タスクに有益な、より空間的で詳細な情報の抽出に重点を置いているのに対し、ほとんどの深い畳み込みカーネルは、分類タスクに有益な、より意味論的で詳細な情報の抽出に重点を置いています。 。したがって、ほとんどの浅い畳み込みカーネルは、回帰タスクに対してより堅牢で、分類タスクに対してより敏感ですが、ほとんどの深い畳み込みカーネルは、分類タスクに対してより堅牢で、回帰タスクに対してより敏感です。
したがって、各層のパフォーマンス制約を考慮する場合、制約は最も機密性の高いタスクにさらに集中する必要があります。つまり、各層の最も機密性の高いタスクのパフォーマンス損失が多層化後の制約境界内に収まるようにする必要があります。重ね合わせ。具体的には、パフォーマンス制約フォームは次のように設計されています。
g (θ) = ∥ Δ L 1 (θ ) , Δ L 2 (θ ) , . 。。, Δ LT ( θ ) ∥ ∞ = max 1 ⩽ t ⩽ T ∣ Δ L t ( θ ) ∣ , \begin{aligned} g(\boldsymbol{\theta}) &=\lVert \varDelta\mathcal{L} _1( \boldsymbol{\theta}) , \varDelta\mathcal{L} _2( \boldsymbol{\theta}) , ..., \varDelta\mathcal{L} _T( \boldsymbol{\theta}) \rVert _ {\infty}\\ &=\underset{1\leqslant t\leqslant T}{\max}| \varDelta\mathcal{L} _t(\boldsymbol{\theta})|,\end{aligned}g ( i )=∥ Δ L1( i ) 、紛失_2( i ) 、... 、紛失_T( i ) ∥∞=1⩽t⩽T _ _ _ _マックス∣ Δ Lた( i ) ∣、
その中Δ L t ( θ ) \varDelta\mathcal{L}_t(\boldsymbol{\theta})紛失_た(θ)表示第 i i 枝刈り状態のiタスクはθ \boldsymbol{\theta}θでの相対損失の変化
レイヤーごとの制約境界は、カスケード変化形式として設計されています。
∏ i = 1 L ( 1 + d 1 λ i − 1 ) = α \prod_{i=1}^{L}\left(1+d_1\lambda^{i-1}\right) = \alpha\,i = 1∏L( 1+d1私i − 1 )=ある
ここでd 1 d_1d1初期層が枝刈りされるときの制約境界、つまりg ( θ ) g(\boldsymbol{\theta})を表します。g ( θ )閾値、λ \lambdaλ は、前のステップの制約境界を基準にして各ステップで最適化された制約境界のスケーリング係数です。α\alphaαはグローバル制約境界です。
ここまで、全体的な圧縮戦略を紹介しましたが、アルゴリズムの最適化プロセスを次の図に示します。
実験
実験設定
著者らは、物体検出と高密度予測のためのマルチタスク モデルという 2 つのマルチタスク設定の下で実験を行っています。
データ セットは、ターゲット検出ベンチマーク データ セット (PASCAL VOC、COCO)、密予測ベンチマーク データ セット (NYUD_v2、PASCAL Context) です。
圧縮モデルは次のとおりです: ターゲット検出ベースライン モデル (SSD、FasterRCNN、CenterNet、YOLOv5)、密予測ベースライン モデル (MTI-Net)。
実験結果
ここでは主な圧縮結果のみを示しており、その他の実験結果と分析については論文でご覧いただけます。
PASCAL VOC での圧縮結果の比較:
COCO での圧縮結果の比較:
NYUD_v2 と PASCAL Context での圧縮結果の比較:
ImageNet での圧縮結果の比較:
複数のプラットフォームでの展開後の高速化効果の比較:
検出効果の視覚化:
マルチタスク集中型の予測効果の可視化
要約する
この論文では、オブジェクト検出、マルチタスク高密度予測、さらには分類などのさまざまなモデルの圧縮に効果的かつ広く使用できる、パフォーマンスを意識した近似ベースのグローバル チャネル プルーニング フレームワーク (PAGCP) を提案します。著者は、PAGCP の最適化目標を理論的に導き出し、目標問題を近似するための逐次貪欲枝刈り戦略を設計します。プルーニング戦略では、段階的なチャネルプルーニングを通じてレイヤー内およびレイヤー間の圧縮パフォーマンスに対するさまざまなコンボリューションカーネルの相互影響を考慮し、パフォーマンスを意識した Oracle 制約基準を通じてさまざまなタスクに対するコンボリューションカーネルの異なる感度を考慮します。著者らによる複数の検出、MTL、分類データセットに関する広範な実験により、提案された PAGCP が予測精度、パラメータ数、FLOP の点で最先端の圧縮パフォーマンスを達成でき、さまざまなデータセットに十分に一般化できることが実証されました。 2 段階検出器、MTL モデル、および分類ネットワーク。同時に、著者は圧縮モデルの実際の推論時間を実験し、クラウド コンピューティングおよびモバイル プラットフォーム上のモバイル デバイスでの圧縮モデルのリアルタイム パフォーマンスを実証しました。