ニューラル ネットワーク アーキテクチャの検索
含意を定義する
ニューラル ネットワーク アーキテクチャの検索は、指定されたデータ セットに対して 1 つ以上のアーキテクチャを自動的に見つけるタスクであり、指定されたデータ セットに対して
良好な結果を持つモデルを生成します。その本質は、高次元空間における最適パラメータ検索問題です。
技術的背景
深層学習モデルの使用はますます一般的になり、多くの業界で不可欠なものになっています。ただし、効率的なニューラル ネットワークの実装には
通常、アーキテクチャの知識が必要であり、その知識を使用して反復プロセスで合理的な解決策を探索するには多くの時間が必要です
。ニューラル ネットワークの形式と構造は特定のニーズに応じて変化するため、
さまざまなタスクや要件に合わせて特定の構造を設定する必要があります。
しかし、これらのネットワークを試行錯誤によって設計することは、アーキテクチャのスキルだけでなく、ドメインの専門知識も必要とする、時間のかかる退屈な作業です。通常、専門家は過去の経験や技術的知識を利用して
ニューラル ネットワークを作成および設計します。
ほとんどの業界では、モデルの効率が重視されます (ここでの効率とは、実行効率だけでなく開発効率も指します)。
トレーニング データセットを過剰適合させることなくニューラル ネットワークを一般化するには、最適な構造を見つけることが重要です。しかし、品質よりも生産性が重要な時代では、一部の業界ではモデルの効率を無視し、モデルのパフォーマンスと効率をさらに
最適化することなく、（機能する限り）目標を達成した
最初のモデルに満足しています。適切なネットワーク アーキテクチャを見つけるには、多くの時間と専門的なアーキテクチャ設計スキルが必要なだけでなく、次善のソリューションに陥りやすいです。多くの業界では、時間やアーキテクチャの専門知識が不足しているため、データの可能性を最大限に活用するのに「十分な」モデルがありません。ニューラル アーキテクチャ検索 (Neural Architecture Search、NAS) [19]は、特定のデータセット上の特定のタスクに最適なニューラル ネットワークの構造を見つけ、不完全な事前定義アーキテクチャの問題を解決することを目的とした最適化ベースのアルゴリズムです。NAS は、ニューラル ネットワーク アーキテクチャの設計を、複雑な手動手法から自動化された手法に変換します。画像分類、ターゲット検出、セマンティック セグメンテーションなどのタスクに対する NAS の効果は、手動で設計されたネットワーク アーキテクチャに匹敵するか、それを上回る可能性があります。
NAS は、定義された指数関数的な検索空間に特定の検索戦略を実装し、目に見えないデータに対して高い予測パフォーマンスを達成するニューラル ネットワーク アーキテクチャを探します。ネットワーク構造の空間を探索するための探索戦略には、ランダム探索、ベイジアン
最適化、進化的手法、強化学習、勾配ベースの探索手法が含まれます。NAS は、
複数の潜在的なネットワーク アーキテクチャの探索を自動化することで、MLOps のモデル選択に対するより多くの洞察を提供します
。より効率的なソリューション
アイデアソリューション
NNIは、ENAS、DARTS、P-DARTSのアルゴリズムを実装し、ワンショットアルゴリズムのインターフェースを提供します。さらに、
Network Morphism [20] などの古典的な検索方法もサポートしています。
NAS 手法は、さまざまな複雑さを持つ多くの潜在的なソリューションを探索するため、計算コストが高くなります。検索スペースが大きいほど
、テスト、トレーニング、評価するアーキテクチャが多くなります。これらの方法では、十分なモデルを見つけるために多くのリソースと時間が必要となるため、ニューラル ネットワーク アーキテクチャの検索タスクを作成するとき、SecXOpsは、プロジェクトが配置されているポッドを、より多くのアイドル コンピューティング リソースを持つノード ノードに
割り当てる傾向が高くなります。
では、プログラムはモデルの結果をリアルタイムで出力します。また、SecXOps はそのようなタスクのポート マッピングを確立し、
ユーザーがタスクの完了の進行状況にアクセスして表示できるようにします (下の図に示すように)。
同時に、対応するユーザーが検索された神経ネットワーク アーキテクチャを表示できるようにするタスク
参考文献
NSFOCUS SecXOps セキュリティ インテリジェント分析テクノロジ ホワイト ペーパー