Este artículo es el tercer número de la Guía práctica de "Edición inteligente en la nube" de IMS de Alibaba Cloud Intelligent Media Service y describe cómo utilizar las capacidades de mate de pantalla verde y mate de escena real para lograr necesidades de corte eficientes y convenientes en la edición de video y el procesamiento humano digital. Formación Experiencia en producción y composición de vídeos.
Yu Chen｜Autor
Hoja colgante ｜Soporte de algoritmo
"Tu experiencia es demasiado falsa". El blogger Jiang Jianlimu fue cuestionado porque su experiencia era demasiado hermosa. Luego, el estilo de la pintura cambió repentinamente. Los internautas usaron "tecnología de recorte" para combinar al blogger en varios fondos de video. Fue muy gracioso. El título una vez Se apresuró a la búsqueda en caliente.
La tecnología de recorte se utiliza a menudo en muchos escenarios y desempeña un papel cada vez más importante.
Por ejemplo: en escenarios de transmisión en vivo, los comerciantes generalmente crean un fondo de pantalla verde y utilizan la tecnología de " recorte de pantalla verde " para reemplazar el fondo de pantalla verde con imágenes o videos relacionados con el producto para ayudar a los consumidores a comprender cómo usar el producto de manera más intuitiva. , funciones y características; o en video marketing corto, a través de la tecnología de " recorte de escena real ", los retratos y elementos designados se recortan de cualquier fondo y se reemplazan con varias imágenes de paisajes o videos para aumentar el atractivo del video para la audiencia. ...
La tecnología de recorte también está desempeñando un papel cada vez más importante en el campo de la capacitación humana digital. La capacitación humana digital requiere la eliminación del fondo y solo conserva el video humano para su posterior análisis y procesamiento de capacitación. El recorte de pantalla verde y el recorte de escena real se pueden utilizar para Resuelva perfectamente este problema Problema de recorte de materiales digitales de capacitación humana .
La edición inteligente en la nube de IMS ha integrado recortes de pantalla verde y recortes de escenas en vivo en la línea de tiempo inteligente. Los clientes pueden usar las capacidades de edición básica de IMS, llamar a la interfaz de síntesis de video humano digital de IMS y la línea de tiempo inteligente.
Este artículo presenta principalmente la tecnología de recorte en tres escenarios y muestra cómo recortar imágenes de una manera elegante.
Tecnología de recorte en tres escenarios
Escena 1: pantalla verde
Genere materiales de fondo transparentes necesarios para capacitar a humanos digitales.
Para entrenar a un humano digital, después de grabar un vídeo de la acción de una persona, normalmente es necesario procesar dos veces el material original para generar un webm que solo conserve el retrato y tenga un fondo transparente , o generar un vídeo con máscara en blanco y negro que represente el retrato. área y el área de fondo . Los explicaremos por separado. Cómo usar el recorte de pantalla verde para generar estos dos videos respectivamente.
La línea de tiempo de "Edición inteligente en la nube" admite la configuración del efecto de AI_Matting y admite la configuración del color en verde o azul en dos modos de mate (pantalla verde o azul). Si desea generar webm con un canal transparente, puede Simplemente especifique el nombre del sufijo del archivo webm en OutputMediaConfig.
Aquí hay un ejemplo del metraje utilizado en esta escena: https://v.youku.com/v_show/id_XNjAxOTE3Njk2MA==.html
Generar web transparente
Vídeo de la película terminada: https://v.youku.com/v_show/id_XNjAxOTE3NzA0OA==.html
Ejemplo de línea de tiempo:
{
"VideoTracks": [{
"VideoTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
"Effects": [{
"Type": "AI_Matting",
"Color": "Green"
}]
}]
}]
}{
"Height": 1920,
"Width": 1080,
"MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/output.webm"
}Generar vídeo enmascarado en blanco y negro
Debido a la baja velocidad del codificador en sí, es posible que webm sintético no satisfaga las demandas de los usuarios en términos de consumo de tiempo. Recomendamos que los clientes agreguen fondos, subtítulos, etc. mientras recortan imágenes y las exportan directamente a películas MP4. También existe un escenario en el que el cliente desea generar un video de canal transparente en blanco y negro para usarlo en la pantalla frontal y el procesamiento de edición posterior (la línea de tiempo admite el video de canal transparente en blanco y negro entrante para enmascarar el material original), agregando MaskMode bajo el parámetro AI_Matting Effect: true, la parte negra representa el fondo y la parte blanca representa la posición del personaje y la información de acción.
Vídeo de la película terminada: https://v.youku.com/v_show/id_XNjAxNjQ4ODAwOA==.html
Ejemplo de línea de tiempo:
{
"VideoTracks": [{
"VideoTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
"Effects": [{
"Type": "AI_Matting",
"Color": "Green",
"MaskMode": true
}]
}]
}]
}
Escena 2: Escena real
Conserve sólo retratos, no otros objetos.
Cuando el fondo es un entorno de muebles u otras situaciones en las que es inconveniente crear un fondo de pantalla verde, es necesario utilizar un recorte de escena real para recortar el retrato del fondo y reemplazarlo con otros fondos de imágenes o fondos de video. Al utilizar la edición inteligente en la nube de IMS, puede completar todas las operaciones de recortar imágenes, recortar fondos, reemplazar fondos, agregar subtítulos y agregar bandas sonoras a la vez a través de una línea de tiempo .
Usando el efecto AI_RealMatting, puedes extraer información de personajes de cualquier fondo con un solo clic. Puedes optar por no hacer nada y generar directamente videos webm o con máscaras en blanco y negro con solo retratos y fondos transparentes. También puedes optar por reemplazar el fondo, agregar Los subtítulos y las bandas sonoras enriquecen el contenido del vídeo y este capítulo presenta principalmente estas últimas.
Aquí hay un ejemplo del metraje utilizado en esta escena: https://v.youku.com/v_show/id_XNjAxNjQ4NjcyMA==.html
Imagen de fondo:
Música de fondo (la música de fondo la genera AIGC): https://v.youku.com/v_show/id_XNjAxOTE3NzQ0MA==.html
Vídeo de la película terminada: https://v.youku.com/v_show/id_XNjAxOTE4NjQzNg==.html
Ejemplo de línea de tiempo:
{
"VideoTracks": [{
"VideoTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg",
"Type": "GlobalImage",
"Width": 1080,
"Height": 1920,
"AdaptMode": "Cover",
"Effects": [{
"Type": "Crop",
"X": 0.0,
"Y": 0.0,
"Height": 0.7,
"Width": 1
}]
}]
},
{
"VideoTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
"Width": 1080,
"Height": 1920,
"AdaptMode": "Cover",
"Effects": [{
"Type": "AI_RealMatting"
}]
}]
}
],
"SubtitleTracks": [{
"SubtitleTrackClips": [{
"Type": "Text",
"X": 0.02,
"Y": 0.02,
"Content": "《美妆小课堂》",
"FontSize": 80,
"EffectColorStyle": "CS0001-000012",
"Font": "Source Han Sans CN"
},
{
"Type": "Text",
"X": 0.2,
"Y": 0.7,
"Content": "金牌美妆师",
"FontSize": 80,
"EffectColorStyle": "CS0001-000014"
}
]
}],
"AudioTracks": [{
"AudioTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav"
}]
}]
}Consejos:
➤ GlobalImage se puede utilizar en imágenes de fondo o logotipos y establecerá de forma adaptativa la duración de la imagen según la duración total del vídeo;
➤ AdaptMode:Cubierta, puede ampliar la imagen al ancho y alto especificados. Si la relación de aspecto del material no coincide con el ancho y alto establecidos, se recortará automáticamente;
➤ En la pista de subtítulos, puede configurar el estilo de la flor con un clic y configurar EffectColorStyle en la ID de la flor correspondiente para enriquecer el contenido del video.
Escena 3: escena real + otros objetos reservados
Conservar retratos, tablas y objetos sobre mesas.
Si necesita retener objetos distintos de retratos en el video durante los recortes de la vida real, pronto admitiremos la capacidad de retener objetos recortados en lenguaje natural .
Con base en la tecnología de modelo de preentrenamiento de imágenes en lenguaje CLIP, podemos analizar de manera efectiva la información de la categoría de objetos en el video y retener de manera efectiva otros objetos que deben retenerse en el video recortado, excepto los retratos, a través de tecnología de modelo grande.
Puede configurar el contenido de la matriz ReserveObjects bajo el efecto AI_RealMatting y especificar los nombres en lenguaje natural de los objetos que deben conservarse. Por ejemplo, en este ejemplo, si queremos conservar tablas y teléfonos móviles, podemos configurar ReserveObjects en Conjunto compuesto por teléfono y escritorio.
Vídeo de la película terminada: https://v.youku.com/v_show/id_XNjAxOTE4NjQ4MA==.html
Ejemplo de línea de tiempo:
{
"VideoTracks": [{
"VideoTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg",
"Type": "GlobalImage",
"Width": 1080,
"Height": 1920,
"AdaptMode": "Cover",
"Effects": [{
"Type": "Crop",
"X": 0.0,
"Y": 0.0,
"Height": 0.7,
"Width": 1
}]
}]
},
{
"VideoTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
"Width": 1080,
"Height": 1920,
"AdaptMode": "Cover",
"Effects": [{
"Type": "AI_RealMatting",
"ReserveObjects": ["phone", "desk"]
}]
}]
}
],
"SubtitleTracks": [{
"SubtitleTrackClips": [{
"Type": "Text",
"X": 0.02,
"Y": 0.02,
"Content": "《美妆小课堂》",
"FontSize": 80,
"EffectColorStyle": "CS0001-000012",
"Font": "Source Han Sans CN"
},
{
"Type": "Text",
"X": 0.2,
"Y": 0.7,
"Content": "金牌美妆师",
"FontSize": 80,
"EffectColorStyle": "CS0001-000014"
}
]
}],
"AudioTracks": [{
"AudioTrackClips": [{
"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav"
}]
}]
}Intelligent Media Services IMS (Intelligent Media Services) es un producto en la nube comercializado oficialmente en mayo de 2021. Su función de edición en la nube se centra en las capacidades de producción de vídeo. Al organizar la estructura de la línea de tiempo necesaria para la edición, puede editar vídeos en la nube. Edición del audio del usuario y los materiales de video pueden entenderse como la edición inteligente en la nube de IMS, que es una versión API de iMovie.
Este artículo explica principalmente el uso de la tecnología de mate de pantalla verde y de mate de escena en vivo en la edición de video y la capacitación humana digital. La edición inteligente en la nube de IMS también incorpora muchas capacidades de inteligencia artificial para ayudar a mejorar la eficiencia de la producción de video de los desarrolladores.
Bienvenido a unirse al grupo oficial de preguntas y respuestas de DingTalk para consultas y comunicación: 31783668
