https://mp.weixin.qq.com/s/HiBd0uiPTvBPIPhKo2c91A
By 超神经
生成对抗神经网络（ GANs ）是深度学习下一步发展的关键，它在很多领域都有很大的应用前景。
但 GANs 的繁荣还需要跨过硬件和框架这两座高山。
Was? GAN
Für die Entwicklung von GANs besteht eine praktikable Strategie darin, zunächst den Markt im Bild- und Videobereich zu besetzen und dann auf andere Bereiche auszudehnen. Der simulierte Datensatz kann beispielsweise in HPC-Anwendungen (High Performance Computer Group) verwendet werden.
Die koordinierte Entwicklung von Infrastruktur und Software, wann sich weitere Anwendungen anpassen können, ist jedoch noch nicht bekannt. Trotzdem ist die Rolle und der Einfluss von GANs sehr beeindruckend. Es reicht aus, professionelle und komplexe Arbeiten abzuschließen, um sich auf die nächste Stufe der KI vorzubereiten.
Menschen, die nicht vertraut sind, werden Fragen haben. Warum müssen wir GANs mit so vielen ausgereiften Methoden des maschinellen Lernens (ML) studieren?
Tatsächlich übertreffen die Ergebnisse von GANs einfache Erkennungs- und Klassifizierungsmethoden. Sie generieren eine Ausgabe basierend auf Referenzen oder Stichproben, aber die Ergebnisse sind außergewöhnlich.
Funktionell sind GANs anderen Faltungs-Neuronalen Netzen sehr ähnlich. Die Kernberechnung des Diskriminators in GAN ähnelt dem grundlegenden Bildklassifizierer, und der Generator ähnelt dem Faltungs-Neuronalen Netzwerk, das Inhalte generiert.
GAN besteht aus zwei Deep-Learning-Netzwerken: dem generativen Netzwerk und dem diskriminanten Netzwerk. Es handelt sich tatsächlich um existierende Konzepte in ML, aber sie arbeiten auf neue Weise zusammen. Dies ist auch das einzigartige Merkmal von GANs.
Bei der Grafikarbeit erhält der Generator einen Datensatz und versucht, ihn in ein Bild umzuwandeln. Beispielsweise synthetisiert er ein Bild aus den Daten und leitet es dann an den Diskriminator weiter. Der Diskriminator gibt ein Urteil ab, um das Bild als "real" zu unterscheiden "Oder" geschmiedet.
Der Generator lernt seine Schwäche aus dem Feedback des Diskriminators und die beiden erzielen bessere Ergebnisse im gegenseitigen Spiel. Dieser Ansatz macht die für das Training erforderlichen Berechnungen jedoch komplizierter und stößt auch auf neue Schwierigkeiten.
Die Schwierigkeiten, mit denen GANs konfrontiert sind
GANs weisen eine hervorragende Leistung auf, aber es ist nicht einfach, sie vollständig zu nutzen. Zum Beispiel wird es zu einem Zusammenbruch des Modus kommen, der zu Instabilität im Trainings- und Feedbackprozess führt.
Ein weiteres häufiges Problem ist, dass ein Netzwerk in der Konfrontation das andere überfordert. Beispielsweise erzeugt der Generator Bilder, die der Diskriminator nicht unterscheiden kann. In diesem Fall kann der Generator kein gutes Feedback erhalten und somit kein effektives Lernen erhalten.
Glücklicherweise kann das Problem der Bekämpfung von Ungleichgewichten rechtzeitig angepasst werden, aber die hohen Hardwareanforderungen sind nicht so einfach zu bewältigen.
Das Training eines einfachen neuronalen Netzwerks erfordert eine gewisse Rechenleistung, sodass GAN Druck auf das System ausübt, insbesondere in Bezug auf den Speicher.
Es ist schwierig, diese Art von Arbeit auf einem reinen CPU-Computer auszuführen. Sobald die GPU verwendet wird, muss das Problem der begrenzten Ressourcen in der Realität angegangen werden.
Bryan Catanzaro, Vice President Applied ML bei Nvidia, sagte: „GANs erfordern eine höhere Rechenleistung und die Infrastruktur ist auf dem gleichen Niveau. Wenn Sie GANs verwenden, benötigen Sie mehr Datenverkehr, da diese Modelle sehr groß und umfangreich sind Da es viele Parameter gibt, erfordert das Training viel Rechenleistung und Speicher. "
"Wenn wir trainieren, sind viele GANs durch den Speicher begrenzt. Selbst wenn wir nur ein oder zwei Modelle mit Stapelgröße trainieren, wird der gesamte GPU-Speicher voll, da die Modelle normalerweise sehr groß sind."
Gute GANs mit einem guten Sattel
Catanzaro fügte hinzu: "Es ist hilfreich, während des Trainings ein größeres System aufzubauen, und es ist auch wertvoll, mehrere GPUs in Stapeln zu haben. Dies erfordert jedoch eine leistungsstarke zentrale GPU-Verbindung, z. B. für DGX-1 Seien Sie NVlink für Video-GANs. “
In dieser Hinsicht hat die Arbeit, die sie für die interaktive Videogenerierung für Spiele geleistet haben, die hervorragende Leistung von GANs gezeigt, die eine dynamische Generierungsumgebung in nahezu Echtzeit bieten können.
Er erwähnte auch DGX-2: "Sobald es fertig ist, wird es unsere Arbeit beschleunigen."
Nvidia liebt die Erforschung von GANs in der Videosynthese, aber für sie ist es keine leichte Aufgabe, große Modelle auf der GPU auszuführen.
"Wir kümmern uns um Grafikprobleme und setzen sie gerne für Videospiele ein. Dies ist eine großartige Möglichkeit, Inhalte zu erstellen. Durch das Training von Videos aus der realen Welt können wir auf einfache Weise virtuelle Welten erstellen."
"Dieser Prozess ist jedoch auch sehr kompliziert, insbesondere bei Video-GANs, da nicht nur das aktuelle Bild, sondern auch eine Reihe verwandter Bilder generiert werden. Dies erfordert eine bessere Speicher- und Rechenleistung."
Bei der Erwähnung einiger Anwendungen von GANs in der Medizin wiesen einige Leute beispielsweise darauf hin, dass in diesen Prozessen neben kontroversen Netzwerken auch Feedback von Lernkomponenten und Diskriminatoren erforderlich ist, was letztendlich zu einer verbesserten Infrastrukturleistung führt.
Das Arzneimittel-Startup Insilico Medicine ist führend in der Branche. Sie verwenden Hochleistungs-GPU-Cluster, um sich an die Modelle im System anzupassen. Obwohl sie einige Erfolge erzielt haben, benötigen sie mehr Rechenleistung, mehr Speicher und mehr, um weiter zu gehen. Gute Speicherbandbreite.
Die Zukunft der GANs
"GANs jeder Größe können in anderen Bereichen als der Bild- und Videoerzeugung verwendet werden. Bevor sie jedoch weit verbreitet sind, müssen Hardware- und Softwareeinschränkungen behoben werden, was für den Moment noch zu früh ist", sagte Catanzaro.
"Einige Leute versuchen, GANs an anderen Orten zu verwenden, beispielsweise in Text- und Audioanwendungen, aber die Ergebnisse sind nicht so gut wie bei Bildern und Videos."
Dies zeigt auch, dass es schwierig ist, vor dem Versuch zu beweisen, was wirksam ist.
"Im Moment haben GANs große Erfolge im Bereich des Sehens erzielt, weshalb sie in der medizinischen Bildgebung die Oberhand behalten", fügte Catanzaro hinzu.
Es überrascht nicht, dass mehr Unternehmen sich mit der Generierung von Spielen oder Inhalten befassen werden und die Anwendung von GANs in Zukunft auf andere Anwendungsbereiche ausgeweitet wird, aber niemand kann vorhersagen, wie weit diese Zukunft reicht.
Für die Erforschung von GANs scheint es jeden Tag einige neue Ansichten und Fortschritte zu geben, aber der Mangel an Anwendungen, die effizient auf Hardware ausgeführt werden können, kann zu einer undankbaren Situation führen.
Aus der Entwicklung der KI können wir jedoch ersehen, dass eine kontinuierliche Optimierung und Anpassung kurzfristig entfernte Technologien in unsere Vision einbringen kann.
Es ist Zeit, zu GAN zu gehen
Da die GPU derzeit die wichtigste Trainingsplattform ist, scheint Nvidia die Pionierwelle der GANs anzuführen. Was jedoch enttäuschend ist, ist, dass dies selbst dann eine herausfordernde Aufgabe ist, wenn sie über das beste DGX-System verfügen.
Es ist nicht schwer vorherzusagen, dass Nvidia, das eine starke Stärke hat, in zukünftigen Grafiken und Spielen die Spielregeln ändern könnte.
Angesichts der Tatsache, dass GPUs von Consumer-Gaming-Geräten zu Leistungsbeschleunigern für Supercomputer übergegangen sind, können wir vielleicht lernen, dass wir die Forschung an einer Technologie nicht unterschätzen sollten, da sie nur ein gutes Spielerlebnis bietet.
Alles in allem erwarten Sie im neuen Jahr neben der Erstellung von Videos und Bildern auch das heldenhafte Auftreten von GANs in mehr Bereichen.
Wenn Sie GANs verwenden, müssen Sie möglicherweise zuerst mit ausreichend Hardware ausgestattet sein. Also, lass uns nicht darüber reden, geh zu GAN! Viel Glück ~
Super nervöse Enzyklopädie
Generiert gegen Netzwerk
Generative Adversarial Networks
Generative Adversarial Networks (GANs) sind eine unbeaufsichtigte Lernmethode, bei der zwei neuronale Netze gegeneinander spielen. Diese Methode wurde 2014 von Ian Goodfellow vorgeschlagen.
Das generative Konfrontationsnetzwerk besteht aus einem generativen Netzwerk und einem diskriminanten Netzwerk.
Das erzeugende Netzwerk tastet zufällig Stichproben aus dem latenten Raum als Eingabe ab, und seine Ausgabeergebnisse müssen die realen Stichproben im Trainingssatz so weit wie möglich imitieren. Die Eingabe des Diskriminanznetzwerks ist die reale Stichprobe oder die Ausgabe des Erzeugungsnetzwerks, und ihr Zweck besteht darin, die Ausgabe des Erzeugungsnetzwerks so weit wie möglich von den realen Abtastwerten zu unterscheiden. Das Erzeugungsnetz sollte das Diskriminierungsnetz so weit wie möglich täuschen.
Die beiden Netzwerke stehen sich gegenüber und passen ihre Parameter ständig an. Das ultimative Ziel besteht darin, dass das diskriminierende Netzwerk nicht beurteilen kann, ob die Ausgabe des generierten Netzwerks wahr ist.
Generative Konfrontationsnetzwerke werden häufig verwendet, um gefälschte und echte Bilder zu generieren. Darüber hinaus wird diese Methode auch zum Generieren von Videos, dreidimensionalen Objektmodellen usw. verwendet.
