著者|何千羅人、徐タン、ルイ秦タオ、チェン・エンレッド、ロックタイ
ソース|マイクロソフトリサーチAIの見出し（ID：MSRAsia）
編集者注：最近では、ニューラルネットワーク構造検索（検索ニューラルアーキテクチャ、NASは）大きな突破口を作ったが、依然として不安定な時間がかかり、検索し、検索結果の挑戦に直面しています。この目的を達成するために、ニューラルネットワーク構造上の機械学習グループのマイクロソフトアジア研究院は、時間のかかる検索精度を向上させることを可能半教師あり学習に基づくアルゴリズムSemiNASを検索し、同じ検索で同じ検索精度の時間のかかる検索を減らします。SemiNASトップ1 6.8％の誤差率とImageNet上のトップ5の誤り率（モバイル設定）の23.5％に達することができます。一方、SemiNAS最初のニューラルネットワーク構造導入の検索テキスト音声合成タスク（スピーチ、TTSへのテキスト）、低リソースで達成された結果とは、2つのシナリオの堅牢性を向上させます。
NASの突破口は近年になされたもので、それはネットワーク上のより良い結果を設計するために、人間の専門家よりも、達成（例えば画像分類、物体認識、言語モデル、機械翻訳など）多くのタスクでは、ニューラルネットワークアーキテクチャの設計を自動化することです。
図1：NAS概略的フレーム
コントローラは、異なるネットワーク構造を生成する責任があり、その後、評価する評価者に引き渡さ前記NASは、制御装置（コントローラ）と評価（評価者）を含む図に示すように、。評価は、ネットワークを訓練した後、コントローラに精度検証データセットの目標とタスクの割合、およびリターンを取得する必要があります。コントローラは、より良好な網目構造を生成し、ネットワーク構造と対応する学習精度を使用します。このように、トレーニングなどのデータの精度-このプロセスは、プロセス評価では、ネットワークを評価するために非常に時間がかかる、それはネットワーク構造のそれぞれのための訓練を必要とするため、彼らはコントローラネットワーク構造を必要な限り学習されています全体の検索プロセスを作るには時間がかかる評価は非常に高いです。以前の研究では、評価者は少なくとも時間のかかる百GPU /日（数百基のGPUの実行に相当1日）。
その後、研究者は、ニューラルネットワーク構造パラメータ共有（重量共有）のを使用してワンショットの検索アルゴリズムを提案しました。具体的には、すべての可能な構造の探索空間を含め、スーパーネットワークを構築することで、同じパラメータのサブ構造が異なる構造の間で共有されています。いくつかのネットワーク構造の等価の訓練と同時に、ネットワーク上でのトレーニング。この方法は、時間のかかる日以内/直接ダウン10 GPUのですが、ネットワーク構造の正確な原因（平均トレーニング時間未満であるなど）とその実際の精度の順序関係が、それによって学習のコントローラに影響を与え、弱いですので自分の問題の、安定していません優れたネットワーク構造を検索し、同じのランダム探索の時々効果。
不安定なパフォーマンスの問題を検索するための訓練高い、と貧しいワンショット法の時間のかかる伝統的な方法を解決するために、マイクロソフトリサーチアジアは、研究者の機械学習グループが提案したアーキテクチャSemiNASは半教師あり学習に基づく方法を検索し、ニューラルネットワークは、検索を減らすことができます時間がかかり、検索精度を向上させながら。
方法
NASコントローラは、ニューラルネットワークアーキテクチャの多数を使用し、それに対応する精度は、訓練データとして教師あり学習（教師あり学習）でした。収束するまで、ネットワーク構造の多数を訓練する（すなわち、対応する精度無しのみニューラルネットワーク構造自体）は（例えば、ランダムに生成されたネットワーク構造）が非常に容易である正解率は非常に時間がかかり得るが、教師なしデータを取得します。したがって、私たちがしたい、さらに学習制御を支援するために、容易に入手可能な教師なし大量のデータ（ニューラルネットワーク）を使用し、この方法は、半教師あり学習（SEMI-教師あり学習）として知られています。これには2つの利点があります。1パフォーマンスを向上させる：では、ほぼ同じトレーニングコスト（同じ教師データ）、あなたはより良いネットワーク構造を検索するための検索アルゴリズムのパフォーマンスを向上させ、さらにに、教師なしデータを大量に使用することができます;. 2.時間を短縮：同じ精度を達成するために、検索の場合には、教師なしデータを多数用いることにより、大幅にかかるトレーニング時間を短縮する教師データの数を減らすことができます。
オーダータグ付けされた学習の少数のネットワーク構造にあるように、ラベルなしネットワーク構造の多くを利用するには、その後、標識されていないネットワーク構造は、（その正確性を予測）標識し、その後のオリジナルトレーニングデータに追加します学習。より具体的には、我々は、式1に示すように、MSEの損失を最小化することによってトレーニングされるネットワーク構造、前記L_p損失のF_P精度を予測するパフォーマンス予測器を構築しました。
公式1
我々は、（X「）制限されたデータセット監督F_P列車、それはその非標識ニューラルネットワーク構造Xに収束させ「予測精度yを得るために」= F_P。私たちは、生データを予測し、より高い精度を達成するために、さらに訓練F_Pデータ混合の性能予測を監視します。
良好なパフォーマンスの予測F_Pトレーニングそのネットワーク構造学習のための予測精度率のためのNASアルゴリズムの様々なと組み合わせることができます。進化的アルゴリズムに基づいて、例えば、アルゴリズム（例えば、NASNet [3]、ENAS [6]など）と強化学習アルゴリズムに基づく（例えばAmoebaNet [4]、シングルパスワンショットは、NAS [7]など）、F_Pのに使用することができます候補ネットワーク構造予測精度を生成します。勾配ベースのアルゴリズム（例えば、ダーツ[5]とNAO [1]）の場合、ネットワークは、直接ネットワーク構造を更新し、ネットワーク構造F_P誘導体の予測構造の精度を使用することができます。
本稿では、SemiNAS検索アルゴリズムを達成するために、前作NAO（ニューラルアーキテクチャ最適化）[1]に基づきます。パフォーマンス予測器 - - NAOは、主コーダ含むデコーダフレーム、その精度を予測するための前記性能予測にベクター連続空間にマッピングエンコーダ離散ニューラルネットワーク構造を、デコーダは、連続ベクトル表現を担っているに復号されます個別のニューラルネットワーク構造を表現。トレーニングでは、三回の共同訓練、性能予測は、デコーダは、再構成のタスクによって訓練され、回帰タスクによって訓練されます。新しいネットワークアーキテクチャを生成するとき、我々はネットワーク構造を入力して、パフォーマンスの予測値は、勾配上昇により、ニューラルネットワークの優れた構造を得るために、入力されたネットワーク構造の勾配を計算します。NAOについての詳細は、元の論文に記載されています。
学習方法の提案の組み合わせは、SemiNASに、我々は、トレーニングデータの少量で開始し、全体的なフレームワークラベルと非標識サンプルは、正確なレートの構造を予測するために訓練されたこれらのネットワークのフレームワークを使用して、探索空間からの神経ネットワークアーキテクチャの多くを得ます。そして、完全に全体のフレームワークを訓練して、タグやラベルの良いラベルなしデータから元のデータを使用します。NAOによる方法の最適化の後、より優れたネットワーク構造を生成します。
実験結果
我々は、画像分類（NASBench-101 [2]、ImageNet）及びテキスト音声合成を含む、データセットおよびタスクSemiNAS方法の複数に検証しました。NASは、最初の音声合成タスクで使用され、良い結果を達成した、ことを言及する価値があります。
NASBench-101
まず、我々はNASBench-101 [2]データセットで実験を行いました。NASBench-101 NAS効果データセットのオープンソースの認証アルゴリズム、すなわち、評価者は、ボックスのアウトを提供する、分類タスクCIFAR-10に423K異なるネットワーク構造とその精度が含まれています研究者は、簡単に素早くその検索アルゴリズム自体を検証するため、および他の作業と公正な比較（異なるトレーニング技術を排除し、ランダムシードデータは、違いをもたらすために自分自身を設定します）。結果を表1に示します。
表1：異なるメソッドNASBench-101のパフォーマンスに
NASBench-101、ランダム探索法（ランダム検索）、方法（正則進化、RE）進化的アルゴリズムとNAOで93.66パーセント、93.97パーセントと平均試験精度の93.87パーセントで作られた2000ネットワーク構造をサンプリングした後率。同じ性能を達成し、REとNAOは、大幅に必要なリソースを低減しながら試験後300ネットワーク構造のみサンプリングでSemiNASは、93.98パーセントの平均正解率を達成しています。ほぼ同じネットワーク構造（2100）をサンプリングするとき、さらに、SemiNASは、他の検索方法よりも94.09パーセントの平均試験正解率を得ます。
ImageNet
我々は、さらに我々は唯一実際に400個の構造、表2に示した最終結果を評価し、トレーニング、大きなImageNet分類タスクSemiNASパフォーマンスで検索プロセスを検証しました。
表2：分類タスクのさまざまな方法でパフォーマンスImageNet
モバイル設定条件（<600Mフロップ）において、SemiNAS検索ネットワーク構造は、他のNASの方法よりも、トップ5の誤り率のトップ1 23.5％及び6.8％の誤差率から成っ。
音声合成（TTS）
我々はまた、アプリケーションSemiNASの新たな分野で検討タスクの音声合成（スピーチへのテキスト、TTS）のためにそれを使用しています。
探索空間のデザインと検索インデックスの設計：NASは、2つの基本的な問題に直面して必要とする新しいタスクに適用された場合。探索空間の設計のために、私たちは主流TTSモデルを参照して、設計されたベースのエンコーダ - フレーム（バックボーン）デコーダ（エンコーダ・デコーダ）があります。各検索の具体的な演算では、候補動作層は、Transformer（異なる数を含む注目ヘッド）、畳み込み層（異なるサイズのコンボリューションカーネルを含む）、LSTM層を含みます。評価の設計では、評価基準は、分類作業に客観的でないだけでなく、言語認識タスクモデルのタスクがプログラムによって自動的に行うことができます。TTSのタスクでは、合成されたオーディオ品質が裁判官への労働力を必要としますが、TTSに非現実的であるNASのネットワークモデル、数百人を評価する必要があります。客観的な評価基準を設計する必要があります。我々は、質量と対角線上の合成オーディオコーデックの再収束度（対角線フォーカス速度、DFR）との間の右フォーカス図注意機構は、最終のどのオーディオ品質に強い相関関係があることを見出しました有益なので、検索時の客観的な評価として、それを選択してください。
低リソースのシナリオ（低リソースの設定）とシーンの堅牢性（ロバストネス設定）：私たちは、TTSの2つのシナリオが直面している現在の課題へのNASソリューションを使用するようにしてください。低リソースのシナリオでは、データを訓練あまり利用できるTTSは、堅牢なシナリオながら、テストは、テキストを入力するために、一般的にはより困難です。私たちは、NAOは1つのベースライン対照として、実験では、検索構造の最終的な性能を比較するために、NAOとSemiNASを同じ時間のかかる検索を保ちます。
我々は、ランダムシミュレーション低リソースへのトレーニングシナリオとして音声およびテキストデータの3時間について選択された低リソースシナリオのためのデータセット（言語テキストの24時間）試験、上LJSpeech、実験の最終的な結果を表3に示します。
表3：低リソースのシナリオで異なる方法プロパティ
あるオーディオ最終的に生成、我々明瞭（明瞭レート、IR）について、1はモデルの性能を評価するために、単語の数の割合を把握することができます。それはNASアルゴリズムNAO 94％を達成し、97％SemiNAS明瞭度を達成する前に人工的に設計されたトランスTTS [8]は、明瞭にのみ88％を達成見られる、比較トランスTTSが向上9 NAOに比べ％も大幅に改善されています。あなたが見ることができると同時に、私たちは、DFRとIRを積極的に検索の妥当性の客観的評価としてDFRを使用して検証相関した検索インデックスを設計しました。
シーンの堅牢性のために、我々は全体LJSpeechの訓練にあった、その後、表4に示す実験結果、テストセットとして（それは多くの単音節または繰り返し音節が含まれている、など）、追加の100文をより困難に見つけます。
表4：シーン内の異なる方法好調
我々は（限り、繰り返しが単語やリークエラーを記録するために出現する単語を吐くように、文）文の数は、単語がテストセットの異なるモデル、行方不明の言葉で発生した串を繰り返し計算し、全体的なエラーレートを計算します。見ることができ、トランスTTS誤り率がSemiNASが15％にそれを減らすために、22％に達しました。
TTS実験的なオーディオデモへのリンク：
https://speechresearch.github.io/seminas/
概要
同じ条件で他の手のパフォーマンスに、トレーニングのコストで既存のNAS相法のパフォーマンスを向上させることができ、一方で、訓練の多くを持つことなく、ニューラルネットワークアーキテクチャから学ぶ半教師あり学習SemiNASは、トレーニングコストを削減するために維持することができます。実験は、複数のタスクおよびデータ・セットの方法は非常に良い結果を達成していることを示しています。複数の領域にNASの用途を探索しながらSemiNASの未来は、私たちは、より多くの検索アルゴリズムに適用する予定です。
詳細については、オリジナルの紙を参照してください。
半教師付きニューラルアーキテクチャ検索
論文は、リンクします。https：//arxiv.org/abs/2002.10389
今論文のオープンソース・コード。
GitHubのリンクします。https：//github.com/renqianluo/SemiNAS
リファレンス
[1]ら羅、Renqian、。「ニューラルアーキテクチャの最適化。」ニューラル情報処理システムの進歩。2018。
[2]ら英、クリス。「NAS-ベンチ-101：再現ニューラルアーキテクチャ検索に向けて。」機械学習に関する国際会議。2019。
[3]らZoph、バレット。「スケーラブルな画像認識のための譲渡のアーキテクチャを学びます。」コンピュータビジョンとパターン認識に関するIEEE会議の議事録。2018。
[4]らレアル、エステバン、。「画像分類器のアーキテクチャ探索のため正則進化。」人工知能のAAAI会議の議事録。巻。33. 2019。
[5]劉、Hanxiao、カレンSimonyan、及び鳴ヤン。「DARTS：分化可能アーキテクチャを検索します。」（2018年）。
[6]らファム、ヒエウ、。「パラメータの共有を介した効率的な神経回路アーキテクチャを検索します。」機械学習に関する国際会議。2018。
[7]ら郭、Zichao、。「均一なサンプリングシングルパスのワンショットの神経アーキテクチャ検索。」arXivのプレプリントarXivの：1904.00420（2019）。
[8]らのLi、Naihan、。「トランスネットワークとニューラル音声合成。」人工知能のAAAI会議の議事録。巻。33. 2019。
【end】
「大きな開発者やAIの研究」、わずか2分の記入をスキャンFanger魏コードの下にあるすべての開発者へようこそ、あなたは299元の値を収穫することができ、「AIの開発者百万人大会」のライブオンラインチケット！
推荐阅读全球呼吸机告急！医疗科技巨头美敦力“开源”设计图和源代码中国无人机“老炮儿”回忆录
互联网之父确诊新冠，一代传奇：任谷歌副总裁、NASA 访问科学家微软为一人收购一公司？破解索尼程序、写黑客小说，看他彪悍的程序人生！在Kubernetes上部署一个简单的、类PaaS的平台，原来这么容易！2020年，这20个大家都认识的加密交易所过得怎么样？你点的每个“在看”，我都认真当成了AI
