高校の数学だけがアルゴリズムを見つけることができますか？GoogleのオープンソースAutoML-Zeroはどれほど強力ですか

翻訳者| Liu Chang

ソース| AIテクノロジーベースキャンプ（ID：rgznai100）

機械学習の研究は、モデルの構造や最適化の方法など、多くの面で進歩を遂げています。そのような研究を自動化する作業（AutoMLと呼ばれる）も大幅に進歩しました。この進展は主にニューラルネットワークのアーキテクチャに重点が置かれており、現在はエキスパートに依存してブロック（または同様に制限された検索スペース）を構築するための複雑なレイヤーを設計しています。

この記事の目的は、AutoMLがさらに前進できることを証明することです。基本的な数学演算のみをビルディングブロックとして使用して、完全な機械学習アルゴリズムを自動的に発見できるようになりました。

この記事では、これを証明する新しいフレームワークを紹介します。このフレームワークは、より一般的な検索スペースを使用するため、主観的な設計意欲を大幅に削減できます。大きな検索スペースにもかかわらず、進化的検索は、バックプロパゲーションを使用してトレーニングされた2層ニューラルネットワークを見つけることができます。次に、これらの単純なニューラルネットワークは、いくつかのタスクを超えることができます。これらのネットワークが、正規化された勾配や重量平均など、現在の最上位の最適化アルゴリズムを使用している場合でも。

さらに、この検索では、アルゴリズムをさまざまなタイプのタスクに適合させることができます。たとえば、使用可能なデータがほとんどない場合、ドロップアウトのような効果が発生します。機械学習アルゴリズムをゼロから発見する最初の成功は、この研究分野に非常に有望な新しい方向性を示していると信じています。

はじめに

近年、ニューラルネットワークは多くの重要なタスクで優れたパフォーマンスを実現しています。機械学習研究の長さと難しさはAutoMLと呼ばれる新しい分野を生み出しました。それは人間の研究時間の代わりに機械計算時間を費やすことによって機械学習技術を進歩させることです。この研究は実りの多い結果を達成しましたが、現在のところ、現在の研究は人間によって設計された検索スペースに大きく依存しています。一般的な例は、専門家によって設計された複雑なレイヤーをビルディングブロックとして使用し、逆伝播のルールに従って検索スペースを制限するニューラルネットワークアーキテクチャ検索です。

同様に、他のAutoML調査でも、バックプロパゲーション、LSTMゲーティング構造、またはデータ拡張中に使用される学習ルールなど、検索スペースを単一のアルゴリズムに制限する方法が見つかりました。これらの調査では、他のすべてのアルゴリズムまだ手作業で設計されています。この方法は計算時間を節約できますが、2つの欠点があります。まず、人工的に設計されたブロック構造は、検索結果を人工的に設計されたアルゴリズムに偏らせ、AutoMLのイノベーション能力を低下させる可能性があります。検索できないコンテンツを見つけることは不可能であるため、選択肢が少ないとイノベーションも制限されます。次に、制約のある検索スペースを慎重に組み合わせる必要があります。これにより、研究者に新たな負担がかかり、いわゆる人間の時間を節約するという目標に違反します。

この問題を解決するために、本稿では、いくつかの制限と単純な数学演算モジュールのみを使用して、すべての機械学習アルゴリズムを自動的に検索する方法を提案します。この方法をAutoML-Zeroと呼びます。その目的は、最小限の人間の参加で学習することです。

つまり、AutoML-Zeroは、きめの細かい空間のモデル、最適化プロセス、初期化、およびその他の操作を同時に検索することを目的としているため、手動設計の作業負荷を削減し、非ニューラルネットワークアルゴリズムを発見することさえできます。これが今日実現可能であることを証明するために、この記事ではこの課題に対する予備的な解決策を提案します。

AutoML-Zero検索スペースの多様性により、スペース検索に対応する既存のAutoMLアルゴリズムよりも困難になります。既存のAutoML検索スペースは緻密で優れたソリューションを構築しているため、検索方法自体は強調されなくなりました。たとえば、同じ検索スペースで比較すると、主要なテクノロジは通常、単純なランダム検索（RS）よりもほんの少しだけ優れていることがわかります。

AutoML-Zeroは異なります。検索スペースが広いため、最終結果は非常にまばらになります。私たちの提案するフレームワークは、機械学習アルゴリズムを、一度に1つのサンプルを予測して学習できる3つのコンポーネント関数を含むコンピュータープログラムとして表現します。これらの関数の命令は、基本的な数学演算をメモリに割り当てます。各命令で使用される操作とメモリアドレスは、コンポーネント関数のサイズと同様に、サーチスペース内の空きパラメータです。

全体として、この記事の貢献は次のとおりです。

AutoML-Zero。最初から手動で最小限の手作業でMLアルゴリズムを自動的に検索できます。
ソースコードと検索スペースを備えた新しいフレームワークは、基本的な数学演算のみと組み合わされています。
詳細な実験結果は、進化的検索アルゴリズムを使用してMLアルゴリズムを発見する可能性を示しています。

コードアドレス：

https://github.com/google-research/google-research/tree/master/automl_zero#automl-zero

方法

AutoML-zeroメソッドは2つの部分に分けることができます。1つは検索スペースで、もう1つは検索メソッドです。

検索スペース

著者は、アルゴリズムを、スカラー変数、ベクトル変数、行列変数用の個別のアドレス空間を持つ小さな仮想メモリで機能するコンピュータープログラムとして表現しています。これらはすべて浮動小数点数であり、タスク入力フィーチャマップの次元を共有しています。

著者はプログラムを一連の指示として表します。各命令には、その機能を決定するための操作があります。選択操作のバイアスを回避するために、この記事では単純な基準を使用します。これは、高度な学習によって決定される必要があります。著者は意図的に機械学習の概念、行列因数分解、および導関数を除外しました。

教師あり学習に触発され、著者はアルゴリズムを3つのコンポーネント機能（セットアップ/予測/学習）を持つプログラムとして表現しました。以下に示すように：

次の図の進化プロセスは、上記の関数の使用を示しています。下の図では、2つのforループがトレーニングと検証のステージを実装し、簡単にするために、一度に1つのサンプルを処理します。トレーニング段階では、「予測」と「学習」が交互に行われます。

検索方法

検索実験では、コンポーネント関数の命令を変更して機械学習アルゴリズムを発見する必要があります。この記事では、正規化された進化的検索方法を使用しています。これは、非常に単純で、最近、アーキテクチャ検索で優れた結果が得られたためです。この方法を次の図に示します。

親によって生成される変異体子孫は、サーチスペースに合わせて調整する必要があり、操作の3種類の、本明細書で使用される選択されたユニットは、（i）機能命令又は削除命令におけるランダム成分インサート内のランダムな位置、（ii）のコンポーネント関数内のすべての命令をランダム化するか、または（iii）命令をランダム選択で置き換えることにより、命令のパラメーターの1つを変更します。以下に示すように。

実験

次の実験部分では、この記事は次の3つの質問に答えます：「AutoML-Zero空間を検索するのはどれほど難しいですか？」、「この記事のフレームワークを使用して、最小限の手動入力で妥当なアルゴリズムを見つけることができますか？」「検索実験で使用するタスクのタイプを変更することで、さまざまなアルゴリズムを見つけることができますか？」

1.検索スペースで単純なニューラルネットワークを見つける

次の図は、4つのタスクタイプの分析結果をまとめたものです。完全なアルゴリズム/線形/アフィン回帰データのみを学習する方法が見つかりました。AutoML-Zeroの検索スペースは汎用的ですが、代償が伴います。単純なタスクであっても、優れたアルゴリズムはまばらです。タスクがますます困難になるにつれて、ソリューションはますます疎になり、そのパフォーマンスはRSよりもはるかに優れています。

2.最小限の手動入力で検索

検索により、線形回帰、逆伝播のある2層ニューラルネットワーク、さらには手動の設計を超える複雑さのベースラインアルゴリズムさえ見つかりました。上の図は実験の例を示しており、進化的アルゴリズムがバイナリ分類タスクを段階的に解決する方法を確認できます。1つ目は、最適化方法のない線形モデルであり、最適化のためにSGDを徐々に発見し、ランダム学習率を追加し始め、次に、ReLUアクティベーション関数、ランダム重みの初期化、勾配正規化などを見つけました。手動設計に近いネットワーク構造と最適化方法。

3.アルゴリズムの普遍性を発見する

このセクションでは、作成者は3つの異なるタスクタイプを検索して、このメソッドの幅広い適用性を示します。各タスクタイプには独自の課題があります（たとえば、「データが少なすぎます」）。課題に対応するための進化的適応アルゴリズムのプロセスを示します。最初から妥当なモデルを取得したので、次の図の効果的なニューラルネットワークを使用して母集団を初期化するだけで済み、時間を節約できます。

まとめ

この記事では、著者がAutoMLの野心的な目標を提案します。基本的な操作からMLアルゴリズム全体を自動的に発見し、人々が検索スペースにもたらす設定を減らし、これが最終的に新しいMLコンテンツを生成することを期待しています。

この論文では、MLアルゴリズムを表現するための新しいフレームワークを構築して、この研究の方向性の可能性を証明します。空のコンポーネント関数から始めて、基本的な数学演算のみを使用して、このペーパーのアルゴリズムは、線形回帰、ニューラルネットワーク、勾配降下、重量平均、正規化勾配などに徐々に進化しました。これらの結果は、アルゴリズムが非常に有望であることを示していますが、まだやらなければならないことがたくさんあります。

論文のアドレス：

https://arxiv.org/abs/2003.03384

【終わり】