https://mp.weixin.qq.com/s/zmpvOFAjTc8r8sxJbidpGQ
By 超神经
场景描述：利用深度学习算法 GAN 可实现动作追踪与迁移，将某人物动作复制到其他人，应用到舞蹈领域，人人皆可成舞王。
关键词：GAN 动作迁移 舞蹈Recientemente, "¡Esto! La segunda temporada de "It's Hip-hop" comenzó a transmitirse, una vez más encendiendo una ola de baile nacional.
Poco después de que comenzara a transmitirse, este programa de alta energía a tiempo completo obtuvo una puntuación alta de 9,6 en Douban. Las maravillosas actuaciones de los bailarines en la competencia hicieron que la multitud que comía melones frente a la pantalla gritara "¡Demasiado ardiente!" Y "¡Increíble!", Y ni siquiera pudieron evitar temblar con la música.
Sin embargo, si realmente quiero saltar por mi cuenta, se estima que hay una brecha entre la realidad y la imaginación de Luo Zhixiang. Me imaginé así:
Pero de hecho es así:
Para los bailarines, sus acciones se llaman Hiphop, Breaking, Locking, etc., mientras que para las personas que comen melón, están agitando, rodando y apuntando ...
¿Quizás extrañaste el hip-hop en esta vida? Vamos a la plaza de baile ...
¡y muchos más! No se apresure a darse por vencido. Varios tipos importantes de la Universidad de California, Berkeley, han investigado un "arma secreta" de IA para que sus habilidades de baile estallen instantáneamente y se conviertan en la próxima generación de reyes de la danza.
Todos pueden ser el rey del baile
En agosto del año pasado, investigadores de la Universidad de California en Berkeley publicaron un artículo titulado "Todos bailan ahora", utilizando el algoritmo de aprendizaje profundo GAN (Generative Adversarial Networks), que puede replicar los movimientos de los artistas profesionales y combinar El movimiento se traslada a cualquiera, para que se dé cuenta de "Haz lo que hago".
Primero veamos la visualización del resultado del baile de copia y sentímoslo:
La esquina superior izquierda es la bailarina profesional, la inferior izquierda es la pose detectada, la mitad y la derecha son los videos generados copiados a la persona objetivo.
En el pasado, la tecnología de cambio de rostro de Deepfake se convirtió en un gran éxito, ¡pero ahora toda la persona puede "Deepfake"! Echemos un vistazo a cómo se logra esta operación divina.
Según el documento, el método de migración se divide en los siguientes pasos:
-
Dados dos videos, uno es el video fuente de acción y el otro es el video del personaje objetivo;
-
Luego, use un algoritmo para detectar la postura de baile de bailarines profesionales a partir del video fuente y cree un cuadro de stickman del movimiento correspondiente;
- A continuación, utilice los dos algoritmos de aprendizaje profundo entrenados para Redes Adversarias Generativas (GAN) para crear todas las imágenes de la persona objetivo y generar imágenes de video más claras y realistas para ellos.
El resultado final es que el sistema puede mapear los movimientos corporales de bailarines profesionales a bailarines aficionados. Además de imitar acciones, también puede reproducir voces humanas y expresiones faciales perfectamente ficticias.
El secreto detrás de la tecnología negra
El principio específico de esta tecnología negra es el siguiente. El proceso de migración del movimiento se divide en tres partes:
- Detección de actitud:
El equipo utilizó el modelo de detección de pose existente OpenPose (proyecto de código abierto de CMU) para extraer los puntos clave del cuerpo, la cara y la pose de la mano del video original. La esencia de este paso es codificar la postura corporal, ignorando información como la forma del cuerpo.
Realice la detección de poses en bailarines y codifíquelos como gráficos de stickman
- Estandarización de la postura global:
Calcule la diferencia entre la forma del cuerpo y la posición de los personajes de origen y destino en un marco dado, y convierta el gráfico de postura de origen en un gráfico de postura que se ajuste a la forma del cuerpo y la posición del personaje de destino.
- A partir de los gráficos de postura estandarizados, infiera la imagen de la persona objetivo:
Utilizando un modelo de red de confrontación generativa, el modelo de entrenamiento aprende a mapear desde los gráficos de postura estandarizados hasta la imagen de la persona objetivo.
Diagrama esquemático del proceso de formación (arriba) y el proceso de migración (abajo)
En el proceso de desarrollo del sistema, el equipo utilizó la GPU GeForce GTX 1080 Ti en NVIDIA TITAN Xp y cuDNN acelerado por PyTorch para entrenamiento e inferencia.
En la etapa de conversión de imágenes, se adopta la arquitectura pix2pixHD de traducción de imágenes desarrollada por NVIDIA para el entrenamiento de confrontación. El residuo facial es predicho por el generador global de pix2pixHD. Usan un solo discriminador PatchGAN de 70x70 en la cara.
Durante el proceso de capacitación, los métodos de recopilación de datos de video de origen y de video de destino son ligeramente diferentes. Para garantizar la calidad del video de destino, use la cámara de un teléfono móvil para tomar una foto en tiempo real del sujeto de destino a una velocidad de 120 cuadros por segundo, y cada video tiene una duración de al menos 20 minutos.
Para el video de origen, solo necesita obtener los resultados de detección de postura adecuados, de modo que pueda usar videos de alta calidad de actuaciones de danza en línea.
Visualización de resultados de mapeo del sistema
Para los resultados del sistema, los investigadores dijeron que no es perfecto. Aunque la mayoría de los videos que produce siguen siendo muy realistas, ocasionalmente revela las patas del caballo, como la desaparición de ciertas partes del cuerpo, como el "derretimiento" y otros fenómenos anormales.
Además, debido a que el algoritmo no codifica la ropa, no puede producir un video de ropa bailando con la acción y el objetivo debe usar ropa ajustada.
Si estas deficiencias se ignoran por el momento, esta tecnología es realmente emocionante.
Con esta herramienta de inteligencia artificial, incluso si eres un joven bailarín que baila, o tus extremidades están rígidas y descoordinadas, puedes convertirte en un "maestro de baile" como Aaron Kwok, Show Luo o cualquier bailarín que te guste. Incluso la caminata espacial de Jackson es muy fácil para ti.
Sin embargo, no es solo el equipo de Berkeley el que sueña con bailar. Google también se ha esforzado mucho en la combinación de IA y baile.
Google AI crea nuevos patrones de baile
A fines del año pasado, Damien Henry, gerente de proyectos técnicos del Departamento de Arte y Cultura de Google, trabajó con el coreógrafo británico Wayne McGregor para desarrollar una herramienta de coreografía que pueda generar automáticamente estilos específicos.
McGregor, quien tiene un doctorado honorario en ciencias de la Universidad de Plymouth, siempre ha estado interesado en la ciencia y la tecnología. Cuando revisó sus videos de baile de 25 años, se preguntó si podría usar la tecnología para mantener fresca la actuación. Entonces, fue a preguntarle a Henry cómo usar la tecnología para crear continuamente nuevos contenidos de baile.
Y Henry se inspiró en una publicación en un sitio web científico. Esta publicación presenta el uso de redes neuronales para predecir la siguiente letra basándose en la escritura a mano de la carta anterior.
Entonces propuso un algoritmo similar que puede predecir un movimiento dado. La pose del bailarín se captura a través de un video, y luego se genera el siguiente movimiento de baile más probable y se muestra en la pantalla en tiempo real.
El video demuestra el efecto de la coreografía de IA y la visualización en tiempo real en la pantalla.
Este algoritmo también ignora la ropa de las personas, solo captura los puntos clave de las poses específicas del actor para obtener el modelo de stickman.
Cuando ingresaron a los videos de baile de McGregor y sus bailarines, AI aprendió a bailar, y el estilo de baile generado fue muy similar al de McGregor.
Aunque en cuanto a la creatividad de la danza, la inteligencia artificial todavía tiene ciertas limitaciones. Esta herramienta de inteligencia artificial de Google no puede inventar acciones que nunca ha "visto". Simplemente predice la acción más probable entre las acciones que ha aprendido.
Además, esta tecnología también puede proporcionar estilos mixtos de coreografía de baile, como insertar un video de samba brasileña en el video de McGregor, AI puede dar un nuevo baile mixto. Henry no se preocupó de que diera un baile de cuatro diferencias, porque la fuente de aprendizaje seguía siendo la aportación de la gente.
El seguimiento de la postura de la IA es más que "sueños de baile"
Después de ver tantas técnicas que te ayudarán a "bailar", ¿estás ansioso por probarlo?
Dance AI permite a aquellos que no se atreven a moverse, moverse con mayor libertad y facilidad, y experimentar la diversión del baile y los deportes. Pero la tecnología detrás de esto es más que un blog.
La estimación de la postura que respalda la IA de baile tiene una gran energía oculta detrás de ella. Puede ayudarnos a completar los movimientos corporales con mayor precisión, como el aprendizaje de fitness en 3D, la corrección de la postura deportiva, el entrenamiento de rehabilitación del paciente e incluso la adaptación virtual, la corrección de la postura fotográfica , Traerá nuevos avances.
Amplia gama de usos para la estimación de pose
De acuerdo con este tipo de desarrollo, las máquinas aprenderán más sobre nosotros, se familiarizarán cada vez más con nuestras características posturales y patrones de comportamiento, lo que nos ayudará a comprendernos mejor a nosotros mismos.
Bien, no hablemos de eso, voy a aprender a bailar con IA. ¿Quieres venir juntos?
Conjunto de datos súper neuronales
Conjunto de datos de imagen grande COCO
El conjunto de datos COCO fue lanzado por Microsoft en 2014 y ahora se ha convertido en una plataforma de prueba estándar para subtítulos de imágenes. El tamaño del archivo es de 83,39 GB.
El conjunto de datos COCO es un gran conjunto de datos de imágenes diseñado para la detección de objetos, segmentación, detección de puntos clave de caracteres, segmentación de relleno y generación de subtítulos en el campo de la visión artificial. El conjunto de datos COCO tiene como objetivo la comprensión de la escena, que se intercepta principalmente a partir de escenas diarias complejas. El objetivo en la imagen se calibra mediante una segmentación precisa.
El conjunto de datos COCO tiene las siguientes características: segmentación de objetivos, percepción en la escena, segmentación de superpíxeles, 330.000 imágenes (más de 200.000 etiquetas), 1,5 millones de instancias de objetivos, 80 clases de objetivos, 91 clases de elementos, 25 Personas con puntos clave.
Hyper-Neural HyperAI recopila y organiza cientos de conjuntos de datos públicos en todo el mundo, proporciona descargas de réplicas nacionales y proporciona servicios gratuitos a instituciones de investigación científica y desarrolladores.
Para conjuntos de datos más relevantes, visite https://hyper.ai para descargar
