https://mp.weixin.qq.com/s/HiBd0uiPTvBPIPhKo2c91A
By 超神经
生成对抗神经网络（ GANs ）是深度学习下一步发展的关键，它在很多领域都有很大的应用前景。
但 GANs 的繁荣还需要跨过硬件和框架这两座高山。
¿Qué? GAN
Para el desarrollo de GAN, una estrategia factible es ocupar primero el mercado en el campo de la imagen y el video, y luego expandirse a otros campos. Por ejemplo, el conjunto de datos simulados se puede utilizar en aplicaciones HPC (Grupo de equipos de alto rendimiento).
Pero aún se desconoce el desarrollo coordinado de infraestructura y software, cuándo se podrá adaptar a más aplicaciones. Aun así, el papel y la influencia de las GAN es muy impresionante, es suficiente para completar un trabajo profesional y complejo, para prepararse para la siguiente etapa de la IA.
Las personas que no estén familiarizadas tendrán preguntas. ¿Por qué tenemos que estudiar GAN con tantos métodos maduros de aprendizaje automático (ML)?
De hecho, los resultados de las GAN superan los métodos simples de reconocimiento y clasificación, generan resultados basados en referencias o muestras, pero los resultados son extraordinarios.
Funcionalmente, las GAN son muy similares a otras redes neuronales convolucionales. El cálculo del núcleo del discriminador en GAN es similar al clasificador de imágenes básico y el generador es similar a la red neuronal convolucional que genera contenido.
GAN se compone de dos redes de aprendizaje profundo: la red generativa y la red discriminante. En realidad, son conceptos existentes en ML, pero funcionan juntos de una manera nueva. Esta es también la característica única de las GAN.
Al hacer un trabajo gráfico, el generador obtiene un conjunto de datos e intenta convertirlo en una imagen. Por ejemplo, sintetiza una imagen a partir de los datos y luego la pasa al discriminador. El discriminador emite un juicio para distinguir la imagen como "real "O" forjado.
El generador aprende su debilidad a partir de la retroalimentación del discriminador y los dos logran mejores resultados en el juego mutuo. Sin embargo, este enfoque complica los cálculos necesarios para el entrenamiento y también enfrenta nuevas dificultades.
Las dificultades a las que se enfrentan las GAN
Las GAN tienen un rendimiento excelente, pero no es fácil hacer un uso completo de ellas. Por ejemplo, se encontrará con un colapso de modo, que dará lugar a inestabilidad en el proceso de capacitación y retroalimentación.
Otro problema común es que una red en la confrontación abruma a la otra. Por ejemplo, el generador produce imágenes que el discriminador no puede distinguir, en este caso el generador no puede obtener una buena retroalimentación y, por lo tanto, no puede obtener un aprendizaje efectivo.
Afortunadamente, el problema de contrarrestar el desequilibrio se puede ajustar a tiempo, pero los altos requisitos de hardware no son tan fáciles de resolver.
El entrenamiento de una red neuronal simple requiere una cierta cantidad de potencia informática, por lo que GAN ejercerá presión sobre el sistema, especialmente en términos de memoria.
Es difícil hacer este tipo de trabajo en una máquina con solo CPU, una vez que se utiliza la GPU, es necesario enfrentar el problema de los recursos limitados en la realidad.
El vicepresidente de aprendizaje automático aplicado de Nvidia, Bryan Catanzaro, dijo: "Las GAN requieren una mayor potencia informática y la infraestructura está al mismo nivel. Cuando se utilizan GAN, es necesario tener más tráfico de datos porque estos modelos serán muy grandes y Hay muchos parámetros, por lo que el entrenamiento requiere mucha capacidad de cálculo y memoria ".
"Cuando entrenamos, muchas GAN están limitadas por la memoria. Incluso si solo entrenamos uno o dos modelos de tamaño de lote, llenará toda la memoria de la GPU porque los modelos suelen ser muy grandes".
Buenas GAN con una buena silla
Catanzaro agregó: "Es útil construir un sistema más grande durante el entrenamiento, y también es valioso tener múltiples GPU en lotes. Pero esto requiere una interconexión central de GPU poderosa, como para DGX-1 Sea NVlink para video GAN ".
En este sentido, el trabajo que han realizado para la generación de video interactivo para juegos ha demostrado el excelente desempeño de las GAN, que pueden proporcionar un entorno de generación dinámica casi en tiempo real.
También mencionó al DGX-2, "Una vez que esté listo, acelerará nuestro trabajo".
A Nvidia le encanta la investigación de GAN en la síntesis de video, pero para ellos, ejecutar modelos grandes en la GPU no es una tarea fácil.
"Nos preocupamos por los problemas de gráficos y estamos comprometidos a usarlos para hacer videojuegos. Esta es una excelente manera de crear contenido. Al entrenar videos del mundo real, podemos crear fácilmente mundos virtuales".
"Pero este proceso también es muy complicado, especialmente las GAN de video, porque no solo genera la imagen actual, sino que también genera una serie de imágenes relacionadas. Esto requiere una mejor memoria y rendimiento informático".
Por ejemplo, al mencionar algunas aplicaciones de las GAN en medicina, algunas personas señalaron que en estos procesos, además de las redes adversarias, también se requiere la retroalimentación de los componentes de aprendizaje y los discriminadores, lo que en última instancia conduce a un mejor desempeño de la infraestructura.
La startup de medicamentos Insilico Medicine es líder en la industria. Usan clústeres de GPU de alto rendimiento para adaptarse a los modelos en el sistema. Aunque han logrado cierto éxito, necesitan más potencia de cómputo, más memoria y más para llegar más lejos. Buen ancho de banda de memoria.
El futuro de las GAN
"Las GAN de cualquier tamaño se pueden utilizar en campos distintos a la generación de imágenes y videos, pero antes de que se utilicen ampliamente, es necesario resolver las limitaciones de hardware y software, lo cual es demasiado pronto por el momento", dijo Catanzaro.
"Algunas personas intentan usar GAN en otros lugares, como aplicaciones de texto y audio, pero los resultados no son tan buenos como las imágenes y los videos".
Esto también muestra que es difícil probar qué es efectivo antes de intentarlo.
"Por ahora, las GAN han logrado un gran éxito en el campo de la visión, por lo que tienen la ventaja en la imagen médica", agregó Catanzaro.
No es sorprendente que más empresas exploren la generación de juegos o contenido, y la aplicación de GAN se expandirá a otros espacios de aplicaciones en el futuro, pero nadie puede predecir qué tan lejos está este futuro.
Para la investigación de GAN, parece que habrá nuevas vistas y avances todos los días, pero la falta de aplicaciones que puedan ejecutarse de manera eficiente en hardware puede causar una situación ingrata.
Sin embargo, a partir del desarrollo de la IA, podemos ver que la optimización y el ajuste continuos pueden traer tecnologías distantes a nuestra visión a corto plazo.
Es hora de ir a GAN
Dado que GPU es la principal plataforma de entrenamiento en este momento, Nvidia parece estar liderando la ola pionera de GAN, pero lo que es decepcionante es que incluso si tienen el mejor sistema DGX, esta sigue siendo una tarea desafiante.
No es difícil predecir que en los gráficos y juegos del futuro, Nvidia, que tiene una gran fortaleza, puede cambiar las reglas del juego.
Pero al ver que las GPU han pasado de los equipos de juegos de consumo a los aceleradores de potencia para supercomputadoras, quizás lo que podamos aprender es que no debemos subestimar la investigación sobre una tecnología porque solo brinda una buena experiencia de juego.
Con todo, en el nuevo año, además de la creación de videos e imágenes, espere ver la aparición heroica de las GAN en más campos.
Por supuesto, al usar GAN, es posible que primero deba estar equipado con suficiente hardware. Entonces, no hablemos de eso, ¡ve a GAN! Buena suerte ~
Enciclopedia súper nerviosa
Generado contra la red de
redes adversas generativas
Las redes generativas adversarias (GAN) son un método de aprendizaje no supervisado que aprende al permitir que dos redes neuronales jueguen entre sí. Este método fue propuesto por Ian Goodfellow en 2014.
La red generativa de confrontación está compuesta por una red generativa y una red discriminante.
La red generadora toma muestras aleatoriamente del espacio latente como entrada, y sus resultados de salida deben imitar las muestras reales en el conjunto de entrenamiento tanto como sea posible. La entrada de la red discriminante es la muestra real o la salida de la red generadora, y su propósito es distinguir la salida de la red generadora de las muestras reales tanto como sea posible. La red de generación debe engañar al máximo a la red de discriminación.
Las dos redes se enfrentan entre sí y ajustan constantemente sus parámetros.El objetivo final es hacer que la red discriminadora no pueda juzgar si la salida de la red generada es verdadera.
Las redes de confrontación generativa se utilizan a menudo para generar imágenes reales y falsas. Además, este método también se utiliza para generar videos, modelos de objetos tridimensionales, etc.
