Pytorch実装コード：https://github.com/MenghaoGuo/AutoDeeplab
革新
セル・レベルおよびネットワークレベルの検索
NAS従来の検索アルゴリズムは、セルの構造が最終ネットワークモデルの細胞組成を接続するだけ鎖構造の固定数である場合、すなわち、検索を得、セルの構造に焦点を当てています。セルの接続はまた、探索空間に含まれますかAutoDeeplabさらにネットワーク構造の範囲を拡大し、。
高密度の画像予測
ほとんどの以前のNAS分類アルゴリズムは画像レベルに基づいており、例えば、DARTS、ENASおよび他の実験では、AutoDeeplabが正常にNASターゲットの検出および画像分割タスクに適用されないCIFAR10とImageNetです。
アルゴリズム
セル・レベルの探索空間
参照による細胞レベルの構成検索が詳細はで見つけることができ、DARTSである紙のノートシリーズ-DARTS：分化可能アーキテクチャ検索。
探索空間は、以下の8つの動作で構成さで構成されています。
- 3×3の最大のプール
- 3×3平均プーリング
- 速度2で3×3 atrous CONV
- 率2と5×5 atrous CONV
- 3×3の深さ方向分離可能CONV
- 5×5の深さ方向分離可能CONV
- 接続をスキップ
- 接続なし（ゼロ）
以下（説明の便宜上、3つだけ各子ノード演算、異なる配線動作を示す異なる色の間）、0は最初の子ノードであり、それは、入力としてセルの最初の二つの層の出力を受けるにおけるセルの概略図です。
私たちが最初のノード間で計算1-2に例を見てみましょう：
子ノード1は次のように表現される\（L_1 H ^ \） 、ノード間のサブ動作は以下のように表すことができます。
\（\上線{O} _ {1 \ RIGHTARROW 2}（H ^ L_1）= \ sum_ {k = 1} ^ 3 \アルファ^ K_ {1 \ RIGHTARROW 2} O ^ K（H ^ L_1）\）
前記\（\アルファ^ k個の\）は k番目の動作の確率、3つの動作上図の合計を表し、最終的な動作は、3つの動作の加重値であるべきであり、3つの操作1を進めるべきであり、そう通常、達成するためのソフトマックス操作を使用する必要があります。より一般的な式は次のよう：
\ [\開始{アレイ} {1} {\ qquadの\の上線{O} _ {J \ RIGHTARROW I} \左（H_ {J} ^ {1} \右）= \ sum_ {O ^ {K} \で\ mathcal {O}} \ alpha_ {J \ RIGHTARROW I} ^ {K} O ^ {K} \左（H_ {J} ^ {1} \右）} \\ {\テキスト{ここ}} {\ qquad \ {整列} \ sum_ {k = 1} ^開始{| \ mathcal {O}を|} \ alpha_ {J \ RIGHTARROW I} ^ {K} = 1＆\ \ \ \ \ FORALL I、J \\ \ alpha_ {J \ RIGHTARROW I} ^ {K} \ GEQ 0＆\ \ \ \ \ FORALL I、J、Kの\端{整列}} \端{アレイ} \]
次のように演算式を用いて、入力された複数のノードの各子ノードの発現は、加重和です。
\ [H_ {I} ^ {1} = \ sum_ {H_ {J} ^ {1} \で\ mathcal {I} _ {I} ^ {1}} O_ {J \ RIGHTARROW I} \左（H_ { J} ^ {1} \右）\]
ネットワークレベルの探索空間
図のネットワークレベルの左側に描かれ、（画像2は2回特性図、他の共感を表す）レイヤ横方向は、垂直方向の解像度は、画像を表します。
灰色の小さな円固定層幹、図4回を減少前記第一の画像が連続して取得された後、すなわち、そのモデルは、図1の検索機能の構造となり、固定前処理層として理解することができます。
- 青い小円候補ノードは、各ノードは、セル構造とすることができます
灰色の矢印は、ノードは三つの可能な流れの方向まで存在することがわかる、各セルのノードデータの可能な流れの方向を示し、すなわち、解像度が2倍、そして不変の二重低減されます。この決議の目的は、あまりにも、あまりにも多くの変更を回避し、情報の損失につながることです。設定された制限の前の人（これの実験的証拠はないががすることはできませんが、お金や機器やGoogleかのように直感的に、これは一見同じくらいではないので、例えば、32から4からの直接接続すれば、この絵でとても美しく見えるしませんでした）しようとすることも可能です
ちょうどいい時間を見始めは、単にセル構造を導入したが、後少し異なるコードと一緒に場所が、実際には、この論文の裏にも記載されているが、その後発現の各ノードを参照するために注意を払っていない見つかったと思いました次のように：
\[ \begin{aligned}^{s} H^{l}=& \beta_{\frac{\varepsilon}{2} \rightarrow s}^{l} \operatorname{Cell}\left(^{\frac{s}{2}} H^{l-1},^{s} H^{l-2} ; \alpha\right) \\ &+\beta_{s \rightarrow s}^{l} \operatorname{Cell}\left(^{s} H^{l-1},^{s} H^{l-2} ; \alpha\right) \\ &+\beta_{2 s \rightarrow s}^{l} \operatorname{Cell}\left(^{2 s} H^{l-1},^{s} H^{l-2} ; \alpha\right) \end{aligned} \]
其中
\[ \begin{array}{ll}{\beta_{s \rightarrow \frac{s}{2}}^{l}+\beta_{s \rightarrow s}^{l}+\beta_{s \rightarrow 2 s}^{l}=1} & {\forall s, l} \\ {\beta_{s \rightarrow \frac{s}{2}}^{l} \geq 0 \quad \beta_{s \rightarrow s}^{l} \geq 0} & {\beta_{s \rightarrow 2 s}^{l} \geq 0 \quad \forall s, l}\end{array} \]
上面的公式乍看会很懵，我们慢慢看：
- まず、\は（\ベータ\）は、例えば、のために、パスの確率を表す（\ \ベータ^ L_ {S \ RIGHTARROW S} \） 図中の赤い矢印のパスの確率を表し、他の同様。
- （\ \テキスト{細胞}（ ^ {S} H ^ {L-1} ^ {S} H ^ {L-2}; \アルファ）\） 図2つの赤色のノードの次のノードへの入力を表し、\（\アルファ\）は、細胞の内部構造を示しています
