ICLR 2020：最新の加速のNASアルゴリズム100ミリ秒15,000訓練されたニューラルネットワーク

解釈のために：「再現性の神経構造の拡張範囲検索NAS-BENCH-201」は、この記事では、認識フォーカスICLR 2020紙に掲載されました。提案されたNAS-ベンチ201が大幅に計算要件を低減するために、再現NASアルゴリズムおよびNASアルゴリズムを改善することができる（例えば、わずか0.1秒で検索）。

著者の情報

背景

ニューラルネットワークは、研究の被写界深度の様々なアプリケーションのパフォーマンスに重要な役割を果たしています。現在、ネットワーク構造の設計パラダイムは、徐々に自動的にマニュアル設計から専門家を検索し、マシンに変身しました。ニューラルアーキテクチャ（NAS）を検索すると、どのように高性能の自動検出、高精度、与えられた探索空間におけるネットワーク構造の高効率化の研究です。

近年では、より多くの研究者NASの研究に、NASは、前方に、より多くの方法を入れて、フィールド全体に多くのブレークスルーをしました。NASの利点と欠点を見て時間です。NASだけでなく、その優れた性能のため、だけでなく、理由も法外多くの研究者の巨大なコンピューティング・ニーズの有名です。様々な実験のセットアップNASアルゴリズムは同じではありません同時に、公正なNASアルゴリズムの信憑性を測定することは困難です。

さらに誰もがNASアルゴリズムの性質を心配そうすることを、NASアルゴリズムの計算要件を減らすためにNASアルゴリズムの再現性を向上させ、その後のNASアルゴリズムを触発するために、我々はNAS-ベンチ-201を提案しています。

NAS-ベンチ-201とは何ですか？

NAS-ベンチ201の異なる乱数シード上の3つのパラメータ（CIFAR-10、CIFAR-100、ImageNet-16から120）ニューラルネットワーク15,000以上のトレーニングを介したデータの異なるセットに基づきます。モデルパラメータ、モデルのサイズと計算モデルを訓練した後、そのような試験の訓練および試験時間、トレーニングセット/テストセット/フォーカスモデルの損失関数と精度の各トレーニングサイクル後などの重要な情報を提供します。これらの有用な診断情報のNAS-ベンチ-201組織、およびそれらを取得するための便利なAPIを提供しています。NAS-ベンチ-201 APIのキーのインストール "ピップは、NAS-ベンチ-201のインストール" を実行します。あなたは、15,000以上のニューラルネットワーク上のすべての情報を持っています！図は、15,000以上の視覚的なネットワークのパフォーマンスです。

使用？

加速NAS算法。使用NAS-Bench-201等NAS算法，正则化进化算法/随机搜索/增强可以在0.1s内完成搜索过程，并给出所发现网络的性能。
实时跟踪NAS算法的性能。对于单次NAS算法，使用NAS-Bench-201，您可以随时观察当前预测的网络结构的性能，而无需重新训练该结构。
公平比较每种NAS算法。不同的文章在重新训练搜索的网络结构时使用不同的超参数/数据增强/规则性等。现在使用NAS-Bench-201的API，每个研究人员都可以公平地比较搜索到的网络结构。

作者在一个代码库下实现并开源了10种不同的NAS算法。尽可能公平地测试了这些算法的性能。结果如下：

500 runs of REA / REINFORCE / RANDOM / BOHB

六种One-shot NAS算法的3次运行结果

NAS-Bench-201旨在为NAS社区提供一个公平、计算友好的环境。由于使用我们的API可以很容易地获得每个网络的性能，这种方便的条件可能无形中允许设计的新NAS算法过度适合最佳结构。为此，我们制定了一些规则来防止过度优化。

无法规范化特定操作。例如，限制跳过连接操作的数量。
使用我们提供的网络性能。训练策略影响网络结构的最终性能。我们建议NAS-Bench-201的用户使用我们的基准提供的每个网络的性能，即使可以使用其他培训策略来获得更好的性能。这是为了确保公平。
发布多组搜索实验的结果。重复的搜索过程可以更稳定地显示NAS算法的效果。

接口示例