//
Desde H.265 hasta AV1 y varios estándares de códecs de desarrollo propio, los códecs siempre han sido el "pollo frito popular" en la industria del audio y el video. Esta sesión especial es aún más sobre los Ocho Inmortales que cruzan el mar, cada uno mostrando sus poderes mágicos. El 29 de julio, LiveVideoStackCon2023 Shanghai Station llevará a cabo una sesión especial sobre IA y códecs de video, que reunirá los temas de códecs más populares y los compartirá con usted.
IA y códec de video
De seguidor a líder, la tecnología de códec de video de ultra alta definición de China ha pasado por 20 años. Desde el comienzo de la formulación de diferentes estándares de códec de video, como H.264/265, AV1, VVC, hasta la tecnología de codificación de video basada en IA, en el proceso aparentemente simple de comprimir, codificar, transmitir y decodificar datos de video para restaurar la claridad. En el proceso, cada pequeña mejora es un gran progreso. Frente a algoritmos cada vez más complejos, la demanda de poder de cómputo de los nuevos estándares de video aumenta exponencialmente, y la dependencia de hardware como GPU y ASIC también aumenta día a día.
TEMA 1 "Descripción general del estándar de compresión sin pérdida percibida de AVS"
Yang Haitao Shanghai HiSilicon Experto técnico en campo de video
El estándar Perceptual Lossless Compression PLC (Perceptual Lossless Compression) es el primer intento del grupo de trabajo de AVS en el campo de la compresión de imágenes de video con nivel de calidad visualmente sin pérdidas. "Estándar ligero de compresión de imágenes. En mayo de 2023, se finalizará el plan técnico estándar y se publicará el texto FCD 1.0. Este discurso presentará la tecnología y aplicación estándar de PLC.
TEMA 2 "Sistema en chip (SoC) para codificación de video mejorada de baja complejidad (LCEVC)"
Rick Clucas V-Nova Vicepresidente sénior de Innovación y Tecnología
La codificación de video mejorada de baja complejidad (LCEVC) es un formato de codificación de video recientemente definido por la organización MPEG. V-Nova ha implementado varios decodificadores duros LCEVC innovadores, mediante el uso de los módulos de hardware y los recursos de procesamiento proporcionados por la plataforma del terminal para lograr una decodificación de capa de controlador segura y efectiva. Esta solución puede ayudar a los fabricantes de equipos terminales a implementar LCEVC en el decodificador de equipos existentes, para implementar este nuevo estándar MPEG que puede reducir significativamente los costos de transmisión para los operadores de servicios de transmisión de medios.
Este artículo presentará el esquema de la tecnología LCEVC y dos esquemas de decodificación de hardware LCEVC basados en SoC existentes implementados por V-Nova.
TOPIC3 "Solución de tarjeta aceleradora de medios de transmisión de alta capacidad compatible con procesamiento de video AI"
Arquitecto de soluciones del sistema Xie Min AMD AECG
Presenta principalmente la arquitectura básica y las funciones de la tarjeta aceleradora de video AMD Alveo™ MA35D y la aplicación de la tarjeta de transcodificación MA35D en soluciones de video en varios campos.
TEMA 4 "Tecnología y aplicación de compresión de redes neuronales profundas"
Profesor asociado de la Universidad Hu Haoji Zhejiang
Las redes neuronales profundas a menudo resultan en un consumo masivo de recursos informáticos y de almacenamiento, lo que dificulta su implementación en dispositivos móviles e integrados. Por lo tanto, reducir el consumo de recursos informáticos y de almacenamiento de las redes neuronales profundas se ha convertido en uno de los temas importantes en la aplicación del aprendizaje profundo.
En esta charla, primero revisaremos el trabajo clásico en el campo de la compresión y aceleración de redes neuronales profundas, y luego presentaremos el trabajo de investigación en este campo en nuestro laboratorio, que incluye: (1) poda de redes neuronales convolucionales; (2) compresión Redes neuronales para tareas específicas, como reconocimiento facial, transferencia de estilo y redes de superresolución; (3) Compresión de redes Transformer; (4) Destilación colaborativa de conocimiento de Transformer y CNN. En la era de los grandes modelos, ¿dónde están las oportunidades y los desafíos en el campo de la compresión y aceleración de redes neuronales profundas? También llevaremos a cabo una discusión heurística sobre las preguntas anteriores.
TEMA 5 "Codificación inteligente de enlace completo basada en el servidor de la CPU"
Xie Yi Arquitecto sénior de software de Intel
Con el rápido desarrollo de la transmisión en vivo y los servicios de videos cortos, la demanda de alta calidad y personalización está aumentando. En los últimos años, la tecnología de IA se ha utilizado ampliamente en el preprocesamiento de video y tiende a reemplazar los métodos numéricos tradicionales. Debido a que el preprocesamiento de video de IA consume mucha potencia informática, ha superado la parte del códec tradicional y se está convirtiendo en un punto de acceso de investigación en la industria. Para resolver el cuello de botella de la potencia informática de preprocesamiento de la IA, a menudo se utiliza un clúster de GPU independiente como un módulo separado para el razonamiento de la IA, y la latencia plantea un gran desafío.
El procesador escalable Intel® Xeon® de cuarta generación tiene Advanced Matrix Extensions (AMX) incorporado, y su poder de cómputo BF16/INT8 ha alcanzado la capacidad de más de 100 TOPS de una sola CPU, lo que hace que todo el preprocesamiento + El proceso de codificación y decodificación en el Se puede implementar en la CPU, lo que no solo reduce el costo, sino que también reduce el costo de operación y mantenimiento. Además, Intel también proporciona una rica cadena de herramientas para la optimización del rendimiento, lo que hace que la optimización del códec de video sea más intuitiva y fácil.
TEMA 6 "Perspectivas y Optimización de AV1 en RTE"
Wei Dai Soundnet Director de códec de vídeo
Con el desarrollo continuo de RTC, el video de alta definición o incluso de ultra alta definición se ha convertido gradualmente en una demanda rígida en la interacción en tiempo real. Los VP8, VP9 y H.264 admitidos inicialmente por RTC no tienen la capacidad de admitir este tipo de video. Para mejorar la experiencia subjetiva de alta definición y ultra alta definición, RTC comenzó a admitir dos estándares de codificación de generación superior, AV1 y H.265, lo que llamó la atención de muchos desarrolladores.
Este intercambio presentará primero las características de AV1 y su historial de desarrollo en RTC, y además combinará las dificultades y los puntos débiles en la implementación de AV1 en el proceso de comunicación, y analizará las ventajas y el futuro de AV1 en el campo de RTC.
TOPIC7 "Estrategia de optimización del codificador de video de hardware para video de Internet"
Supervisor de doctorado de la Universidad Fan Yibo Fudan
Los codificadores de video de hardware tradicionales se utilizan principalmente en terminales, como IPC de seguridad, teléfonos móviles, cámaras y otros equipos.Los codificadores de hardware en estos campos prestan más atención a la optimización de PPA (área de rendimiento de energía) y colocan la optimización de la tasa de compresión en una posición secundaria. Por lo tanto, estos codificadores de hardware son difíciles de aplicar directamente al video de Internet. El video de Internet pone más énfasis en la optimización de la tasa de compresión y requiere una tasa de compresión extrema para ahorrar ancho de banda. Por lo general, los esquemas de codificación de software lograrán mejores resultados. Con el aumento de la demanda de resolución, retardo e intensidad informática del video de Internet, los esquemas de codificación de software tradicionales son cada vez más difíciles de satisfacer la demanda, y las ventajas de PPA de los codificadores de hardware están mejorando gradualmente. . Este intercambio se divide principalmente en tres partes: 1) Características técnicas del codificador para video de Internet; 2) Estrategia de optimización de la arquitectura del codificador de hardware; 3) Versión beta de la VPU XK265 (basada en la FPGA U250).
TOPIC8 "Códec VVC de desarrollo propio Tencent Tencent266"
Tang Minhao Tencent Investigador experto en laboratorio multimedia
VVC es el estándar de códec de video de última generación, y también es el estándar de códec de video con la mayor capacidad de compresión en la actualidad. Con la gran inversión de los principales fabricantes, el estándar VVC ha entrado gradualmente en la etapa de implementación.
Este intercambio se dividirá en tres partes. La primera parte presenta las características del estándar VVC y algunos trabajos de Tencent en el estándar VVC; la segunda parte presenta el decodificador Tencent266 de desarrollo propio de Tencent; la tercera parte presenta el codificador Tencent266 de desarrollo propio de Tencent. .
▲Escanee el código QR en la imagen o haga clic en " Leer el texto original " ▲
Vea más temas interesantes de LiveVideoStackCon 2023 Shanghai Station