https://mp.weixin.qq.com/s/HiBd0uiPTvBPIPhKo2c91A
By 超神经
生成对抗神经网络（ GANs ）是深度学习下一步发展的关键，它在很多领域都有很大的应用前景。
但 GANs 的繁荣还需要跨过硬件和框架这两座高山。
何？ガン
GANの開発については、実現可能な戦略は、最初に画像およびビデオ分野で市場を占有し、次に他の分野に拡大することです。たとえば、シミュレーションデータセットはHPC（High Performance Computer Group）アプリケーションで使用できます。
しかし、インフラストラクチャとソフトウェアの協調開発は、いつより多くのアプリケーションに適応できるかはまだ不明です。それでも、GANの役割と影響は非常に印象的で、AIの次の段階に備えるには、専門的で複雑な作業を完了するのに十分です。
なじみのない人は質問をしますが、なぜ多くの成熟した機械学習（ML）メソッドでGANを研究しなければならないのですか？
実際、GANの結果は単純な認識と分類の方法を上回り、参照またはサンプルに基づいて出力を生成しますが、その結果は並外れています。
機能的には、GANは他の畳み込みニューラルネットワークと非常に似ています。GANの弁別子のコア計算は、基本的な画像分類子に似ており、ジェネレーターは、コンテンツを生成する畳み込みニューラルネットワークに似ています。
GANは、生成ネットワークと判別ネットワークの2つのディープラーニングネットワークで構成されています。これらは実際にはMLの既存の概念ですが、新しい方法で連携します。これもGANの独自の機能です。
グラフィックス作業を行うとき、ジェネレーターはデータセットを取得し、それをイメージに変換しようとします。たとえば、データからイメージを合成し、それを弁別器に渡します。弁別器は、イメージを「実際の「または」偽造。
ジェネレーターは、ディスクリミネーターのフィードバックからその弱点を学習し、2つは相互ゲームでより良い結果を達成します。ただし、この方法では、トレーニングに必要な計算がより複雑になり、新たな困難にも直面します。
GANが直面する困難
GANは優れたパフォーマンスを備えていますが、それらを十分に活用することは容易ではありません。たとえば、モードの崩壊が発生し、トレーニングとフィードバックプロセスが不安定になります。
もう1つの一般的な問題は、対立する1つのネットワークが他のネットワークを圧倒することです。例えば、生成器は、識別器が区別できない画像を生成し、この場合、生成器は、良好なフィードバックを得ることができず、したがって、効果的な学習を得ることができない。
幸いなことに、不均衡に対抗する問題は時間内に調整できますが、高いハードウェア要件に対処するのはそれほど簡単ではありません。
単純なニューラルネットワークをトレーニングするには、ある程度の計算能力が必要になるため、GANは特にメモリの点でシステムに圧力をかけます。
CPUのみのマシンでこのような作業を行うことは困難であり、GPUを使用すると、現実にはリソース制限の問題に直面する必要があります。
NvidiaのApplied MLのBryan Catanzaroのバイスプレジデントは、次のように述べています。「GANにはより高い計算能力が必要であり、インフラストラクチャもそれに合わせられています。GANを使用する場合、これらのモデルは非常に大きく、多くのパラメータがあるため、トレーニングには大量の計算能力とメモリが必要です。」
「トレーニングする場合、多くのGANはメモリによって制限されます。1つまたは2つのバッチサイズモデルのみをトレーニングしても、モデルは通常非常に大きいため、GPUメモリ全体がいっぱいになります。」
サドルの良いGAN
カタンツァーロ氏はまた、「トレーニング中に大規模なシステムを構築すると便利です。また、複数のGPUをバッチで持つことも重要です。ただし、これには、DGX-1などの強力なGPU中央相互接続が必要です。ビデオGANのNVlinkになってください。」
この点で、彼らがゲームのインタラクティブビデオ生成のために行った作業は、ほぼリアルタイムの動的生成環境を提供できるGANの優れたパフォーマンスを実証しています。
彼はまた、DGX-2についても述べています。「準備ができたら、作業がスピードアップします。」
Nvidiaはビデオ合成におけるGANの研究を愛していますが、GPUで大規模なモデルを実行することは簡単な作業ではありません。
「私たちはグラフィックスの問題に関心があり、それらを使用してビデオゲームを作成することに取り組んでいます。これはコンテンツを作成するための優れた方法です。実際のビデオをトレーニングすることにより、仮想世界を簡単に作成できます。」
「しかし、このプロセスは、現在の画像を生成するだけでなく、関連する一連の画像も生成するため、特にビデオGANも非常に複雑です。これには、より優れたメモリと計算パフォーマンスが必要です。」
たとえば、医療におけるGANのいくつかのアプリケーションに言及するとき、一部の人々は、これらのプロセスでは、敵対的なネットワークに加えて、学習コンポーネントと弁別子からのフィードバックも必要であり、最終的にはインフラストラクチャパフォーマンスの向上につながると指摘しました。
製薬会社のInsilico Medicineは業界のリーダーです。彼らは高性能GPUクラスターを使用してシステム内のモデルに適応しています。ある程度の成功は収めていますが、さらに多くの計算能力とメモリを必要としています。良好なメモリ帯域幅。
GANの将来
「任意のサイズのGANは、画像およびビデオの生成以外の分野でも使用できますが、広く使用される前に、ハードウェアおよびソフトウェアの制限を解決する必要がありますが、現時点ではまだ早すぎます」とCatanzaro氏は語った。
「テキストアプリケーションやオーディオアプリケーションなど、他の場所でGANを使用しようとする人もいますが、結果は画像やビデオほど良くありません。」
これはまた、試みる前に何が有効であるかを証明することが難しいことを示しています。
「現時点では、GANは視野の分野で大きな成功を収めています。そのため、医用画像で優位に立っています」とカタンツァーロは付け加えました。
当然のことながら、ゲームやコンテンツの生成を検討する企業が増え、GANのアプリケーションは将来的に他のアプリケーションスペースにも拡大されますが、この未来がどれほど遠いかは誰も予測できません。
GANの調査では、毎日いくつかの新しい見方と進歩があるようですが、ハードウェア上で効率的に実行できるアプリケーションの欠如は、感謝のない状況を引き起こす可能性があります。
ただし、AIの開発から、継続的な最適化と調整により、短期的に遠く離れたテクノロジーがビジョンに取り入れられる可能性があることがわかります。
GANに行く時間です
現時点ではGPUが主要なトレーニングプラットフォームであるため、NVIDIAはGANの先駆的な波をリードしているようですが、残念なのは、最高のDGXシステムを持っている場合でも、これは依然として困難な作業です。
将来のグラフィックスやゲームでは、強みを持つNvidiaがゲームのルールを変える可能性があることを予測することは難しくありません。
しかし、GPUがコンシューマ向けゲーム機器からスーパーコンピュータのパワーアクセラレータに飛躍したことを見て、おそらく私たちが学べることは、優れたゲーム体験をもたらすだけなので、テクノロジーに関する研究を過小評価してはならないということです。
全体として、新年には、ビデオや画像の作成に加えて、より多くの分野でGANの英雄的な姿が見られることを期待しています。
もちろん、GANを使用する場合は、最初に十分なハードウェアを装備する必要があります。だから、何も言わないでGANに行ってください！がんばって〜
超神経百科事典
ネットワーク
生成敵対ネットワークに対して生成
ジェネレーティブアドバサリアルネットワーク（GAN）は、2つのニューラルネットワークを相互に対戦させることによって学習する教師なし学習方法です。この方法は、2014年にIan Goodfellowによって提案されました。
生成対立ネットワークは、生成ネットワークと判別ネットワークで構成されます。
生成ネットワークは、潜在空間から入力としてランダムにサンプリングし、その出力結果は、トレーニングセットの実際のサンプルをできるだけ模倣する必要があります。判別ネットワークの入力は、実際のサンプルまたは生成ネットワークの出力であり、その目的は、生成ネットワークの出力を実際のサンプルからできるだけ区別することです。生成ネットワークは、差別ネットワークを可能な限り欺く必要があります。
2つのネットワークは互いに向き合い、常にパラメーターを調整します。最終的な目標は、生成したネットワークの出力が真であるかどうかを判別ネットワークが判断できないようにすることです。
生成的な対立ネットワークは、偽の実在する画像を生成するためによく使用されます。また、このメソッドは、ビデオ、3次元オブジェクトモデルなどの生成にも使用されます。
