Después de 20 años de desarrollo, el estándar AVS ha logrado un gran avance en los estándares nacionales de seguimiento a liderazgo en la generación de AVS3. El equipo de Boya Ruishi ha estado profundamente involucrado en la formulación del estándar AVS3, y el equipo de códec 8K AVS3 en tiempo real y fuera de línea desarrollado ha apoyado firmemente el aterrizaje y la promoción de la industria de video de ultra alta definición 8K de mi país.
Este intercambio se dividirá en tres partes. La primera parte se centra en el historial de desarrollo del estándar AVS y el estado actual y el progreso más reciente del estándar AVS3; la segunda parte se centra en algunas tecnologías clave en todo el enlace de transmisión en vivo de 8K, bajo demanda y producción de contenido, desafíos y algunas de nuestras ideas de aterrizaje y experiencia práctica; la tercera parte comparte la tecnología y la dirección del mercado en la que Boya Vision se centrará en el campo de ultra alta definición 8K en los próximos años, así como los planes y el pensamiento de la construcción ecológica de AVS.
Texto/Han Wei
Editar/LiveVideoStack
Hola a todos, el tema que les comparto hoy es: Práctica de aplicación de producción y transmisión de contenido 8K soportada por AVS3 . Como todos sabemos, la industria nacional actual de 8K carece de contenido y creadores de contenido para enriquecer el contenido. Así que hicimos una súper resolución de 8K y mejoras para compensar la falta de contenido.
Soy Han Wei de Boya Vision. Boya Ruishi es una empresa de transformación de logros tecnológicos incubada por el Centro Nacional de Investigación de Ingeniería para Video y Visión de la Universidad de Pekín y está comprometida principalmente con los estándares de códec de video de mi país, la industrialización y la internacionalización de AVS. Bajo el liderazgo del académico Gao Wen, el estándar AVS se ha desarrollado durante 20 años. Hay tres generaciones y cuatro estándares, y todos ellos se han convertido en estándares nacionales y estándares de la industria. AVS2 es un estándar militar y un estándar internacional en IEEE. Al mismo tiempo, en julio de este año, AVS3 se convirtió en el estándar recomendado para DVB europeo en el campo de la ultra alta definición.
El uso de MPEG-2, H.264 y H.265 enfrentará altas tarifas de patentes, por lo tanto, debido a las necesidades de la estrategia nacional y la seguridad industrial, la construcción de estándares de códec de video con derechos de propiedad intelectual independientes en mi país ha sido promovido desde 2002.
El contenido de hoy se divide en tres partes:
-01-
El historial de desarrollo del estándar AVS y el último progreso de AVS3
En primer lugar, presenta el proceso de desarrollo del estándar AVS y el último progreso de AVS3.
Desde que mi país se incorporó a la OMC en 2001, se ha convertido en el mayor exportador de DVD del mundo, pero a muchos DVD se les cobrarán altas tasas de patente debido al uso de MPEG-2, H.264 y otros estándares de codificación de video cuando salgan al mar. .
La Conferencia de Xiangshan es una conferencia sobre los principales avances científicos y tecnológicos de China que se lleva a cabo en Xiangshan todos los años por el Ministerio de Ciencia y Tecnología y la Academia de Ciencias de China. En la Conferencia de Xiangshan en marzo de 2002, el Ministerio de Industria y Tecnología de la Información señaló que se debe establecer un estándar de codificación de video chino en respuesta al incidente del DVD, para competir con MPEG-2 y H.264 en los Estados Unidos.
Se propone el estándar AVS basado en MPEG-2 y H.264 de Estados Unidos. El primero es MPEG-2, propuesto conjuntamente por Sony de Japón, Bell Labs, la Universidad de Columbia, Philips, etc. Este estándar de códec ha promovido el desarrollo básico de audio y video global. Después de eso, Corea del Sur y Alemania invirtieron mucho en la investigación y el desarrollo de tecnologías clave en este campo a fines de la década de 1990, lo que resultó en el estándar de generación 264.
Después de que el incidente del DVD promoviera la Conferencia de Xiangshan, el incidente de la patente de exportación de MP3, el incidente de la patente del decodificador y el incidente del estándar de televisión digital ocurrieron uno tras otro. Por ejemplo, mi país representa el 70% de las exportaciones de paneles de TV del mundo. Si se cobran tarifas de patentes a los fabricantes, HEVC tiene al menos tres grupos de patentes, y cada grupo de patentes cobra al menos 1,5 dólares estadounidenses. Esta es una gran amenaza para nuestra industria.
Todo el mercado de la industria relacionado con las normas fue de aproximadamente 500 000 millones entre 2002 y 2006, 900 000 millones en 2008 y más de billones después de 2018. Si nuestro país puede tener sus propios estándares e incluso exportar, será una gran industria. Por lo tanto, el establecimiento de los estándares propios de mi país no es solo para garantizar la seguridad de las industrias nacionales estratégicas de mi país, sino también para promover los estándares y las industrias de mi país para obtener ganancias. Esto es algo muy significativo.
El estándar AVS tenía un muy buen diseño cuando se estableció el grupo de trabajo AVS. La razón es que la organización MPEG ahora está dispersa y hay demasiadas empresas en ella, por lo que no hay una opinión unificada. El cobro de sus derechos de patente es una de las razones por las que los estándares de la serie H tienen mucha resistencia en el proceso de promoción.
Por lo tanto, cuando estábamos diseñando, el grupo de trabajo de AVS produjo estándares desde el principio. Muchas universidades participaron en la producción de estándares, como la Universidad de Pekín, la Universidad de Zhejiang y el Instituto de Tecnología Informática de la Academia de Ciencias de China, así como como industrias, como Haikang, Byte, Ali, Tencent, Mi Goo esperan.
Además, se crea el Comité de Patent Pool de AVS, cuando varias organizaciones se unen a nosotros para aportar patentes, deben firmar un acuerdo para unificar los estándares de cobro y utilizar un pool de patentes para cobrar. En la actualidad, se promete que toda la cadena de la industria solo se cobrará una vez, solo se cobrarán los chips de terminal y solo se cobrará 1 RMB a la vez. Esto es más regular y más barato que H.265, lo que ayudará a que toda la ecología se promueva internacionalmente.
Al mismo tiempo, se estableció AVS Industry Alliance, que incluye casi 200 institutos de investigación y empresas nacionales, para promover conjuntamente la implementación e industrialización de todo el estándar, lo cual es una gran ventaja.
¿Cómo se hace AVS? En agosto de 2002, se llevó a cabo la primera reunión en Beijing para establecer AVS; en la séptima reunión en diciembre de 2003, se formuló y completó el estándar AVS1; más tarde, cuando CCTV quiso hacer de AVS un estándar obligatorio para radio y televisión, hicimos un versión de AVS+, AVS+ se comparó con la eficiencia de compresión de 264; AVS2 se lanzó en la 42.ª reunión en Guilin en septiembre de 2012, y el punto de referencia fue 265; en 2015, AVS2 se lanzó en la 55.ª reunión, y la eficiencia de compresión de AVS2 y H.265 es equivalente, pero fue varios años demasiado tarde. Más tarde, AVS2 fue un estándar fuerte y nacional para radio y televisión, y también ingresó al estándar militar. Además, AVS2 también ingresó a IEEE, que es un estándar internacional.
En 2018 se lanzó la formulación de AVS3, orientada a 8K, que es similar al 5G actual y las baterías de litio. En el pasado, hemos estado siguiendo y poniéndonos al día. Esperamos que esta vez podamos hacerlo antes del lanzamiento del estándar 266. Por lo tanto, en enero de 2019, más de diez meses después, se formuló AVS3, y un total de aproximadamente Se consideraron 6.000 propuestas técnicas y se emitieron más de 2.000 documentos.
En marzo de 2019, se lanzó el estándar AVS3. Nuestro laboratorio se estableció conjuntamente con HiSilicon y la Academia de Ciencias, por lo que en septiembre del mismo año lanzamos el primer chip decodificador Hi3796CV300 en IBC en los Países Bajos. Hasta ahora, hemos abierto la situación del estándar a la industria, por delante de 266.
Aunque no somos dominantes en el campo por debajo de la alta definición 4K, pero en el campo de la ultra alta definición, nos adelantamos al estándar estadounidense por primera vez. Esto también está relacionado con la seguridad estratégica de mi país. Mi país representa entre el 50% y el 70% de las exportaciones mundiales de paneles. Este tipo de industria de alto consumo de energía y trabajo intensivo definitivamente no es una solución a largo plazo. En el futuro, puede transferirse a Vietnam, India y otras fuerzas laborales, países de menor costo. Si la cadena industrial no se desarrolla en el camino, las ventajas tecnológicas acumuladas con gran dificultad desaparecerán.
Como se muestra en la figura, AVS admite aplicaciones importantes, como canales domésticos de alta definición
La imagen muestra el proceso de formulación del estándar AVS3 y algunos logros clave, así como una foto grupal de algunos miembros clave durante el período de desarrollo cerrado, incluido el académico Gao Wen, el profesor Ma Siwei, etc.
AVS3 tomó 18 meses desde la formulación de estándares técnicos hasta el lanzamiento del chip, reunió varias fuerzas para formular estándares técnicos, terminales de chips y aplicaciones del sistema, formando un sistema ecológico y de aplicación completo.
AVS3 está orientado a 8K, por lo que la eficiencia de compresión debe ser suficiente. La imagen muestra la evolución de la eficiencia de compresión en el campo de la codificación de video durante los últimos 30 años.
En comparación con AVS3 y HEVC/H.265, el rendimiento integral de la compresión de video de ultra alta definición YUV se ha mejorado en más del 36 %.
Después de la integración de la codificación inteligente, en las mismas condiciones, el rendimiento de la compresión mejora aún más en más del 44 %. Comparado con VVC/H.266, la mejora es más del 8%.
La imagen muestra el progreso de la internacionalización del estándar AVS
La industria de audio y video de China se ha desarrollado desde una tecnología atrasada hasta un rápido desarrollo. Un grupo de fuerzas de investigación académica representada por la Universidad de Pekín ha impulsado el desarrollo del audio y video de China. Una gran cantidad de talentos de software y hardware han dedicado su entusiasmo al desarrollo de la industria del audio y video.
Los avances académicos llevaron al surgimiento de las empresas. Además de AVS, se puede ver que los rostros chinos representan más del 50 % de las unidades propuestas de H.266/VVC, que estallan con fuerza vigorosa.
-02-
Práctica de aplicación 8K compatible con AVS3
Para el desarrollo de la industria de video de ultra alta definición, todos los países han formulado planes correspondientes para hacer frente a la competencia de la industria y aprovechar las alturas dominantes.
La imagen muestra algunos casos en la industria del video de ultra alta definición 8K después de la formulación del estándar AVS3
Cuando AVS apoyó la primera transmisión en vivo de los Juegos Olímpicos de Invierno de 8K, Boya Ruishi apoyó y resolvió el problema del control de la velocidad de bits de la codificación AVS3 de 8K. Su solución CPU+GPU ayudó al servicio de transmisión de Gehua Wangcheng 8K y completó la tarea de decodificación y transmisión de 8K de la ceremonia de apertura. de los Juegos Olímpicos de Invierno del Museo del Cine.
El sistema de códec en tiempo real de la serie completa AVS basado en la arquitectura x86 desarrollada por Boya Ruishi admite la transmisión en vivo de ultra alta definición de los Juegos Olímpicos de Invierno de CCTV.
En mayo de 2021, el Ministerio de Industria y Tecnologías de la Información, junto con la Administración Estatal de Radio, Cine y Televisión, CCTV y otras unidades, organizaron la campaña de promoción de video de ultra alta definición 8K "Cien Ciudades, Mil Pantallas", y AVS3 brindó asistencia.
La imagen muestra el diagrama de arquitectura lógica de la pantalla grande de 8K. De acuerdo con los requisitos de la Administración Estatal de Radio, Cine y Televisión, la pantalla grande al aire libre debe considerar los requisitos de seguridad para la divulgación de información y la señal no puede transmitirse en vivo. La información, como gráficos y textos, se emitirá en forma de archivos cifrados, y las fuentes de información de front-end se gestionarán a través del material, y luego la información se publicará en la pantalla grande.
Como se muestra en la figura, los archivos de video de alta definición pasan por el sistema de almacenamiento, se transcodifican en la línea de ultraseparación y luego se envían al sistema de liberación de información. La señal de transmisión en vivo pasará a través de la matriz IP, se enviará al sistema de transcodificación y grabación de 8K y luego ingresará al sistema de liberación de información. El contenido del sistema de publicación de información se transmite al decodificador de recepción de 8K en el lado de la pantalla grande a través de la línea IP dedicada para la reproducción controlada.
Además, la señal de la pantalla grande de 8K se transcodificará hasta la resolución, y la extracción de características se realizará a través del codificador de retorno para evitar que se altere el contenido de la reproducción.
Una gran cantidad de dispositivos se concentran en el centro de control de transmisión para realizar funciones como publicación de información, programación de señales, monitoreo de contenido y fuente, grabación de contenido, producción de contenido 8K y revisión inteligente de IA.
La imagen muestra algunos problemas encontrados en la transmisión en vivo de ultra alta definición de 8K y las soluciones correspondientes
La GPU es adecuada para la computación paralela, pero la decodificación de entropía es lineal, por lo que es más adecuado colocarla en la CPU. Otros se pueden paralelizar en la GPU, como la transformación inversa, la predicción entre fotogramas, el desbloqueo, el SAO, el ALF, etc., utilizando el paralelismo multinúcleo de la GPU. Finalmente, la información de reconstrucción se copia de forma asincrónica a la CPU.
La imagen muestra dos soluciones de servidor para el codificador en tiempo real AVS3 8K
Tres esquemas y configuraciones del decodificador en tiempo real AVS3 8K
-03-
Ideas para la evolución tecnológica y la construcción ecológica en los próximos años
El problema de la codificación tradicional es que el costo de refinar las herramientas de codificación bajo el marco existente es cada vez más alto, mientras que la eficiencia de compresión promedio de una sola tecnología ha caído del 20 % en la década de 1990 a menos del 1 % en la actualidad.
Como se muestra en la figura, AVS3 y VVC utilizan 36 y 34 herramientas respectivamente, y solo 7 y 8 herramientas superan el 1% de ellas.
Sin embargo, la demanda de codificación de video sigue siendo fuerte. El volumen de datos original del contenido de 8K es de 60 Gbps y se espera que la tasa de bits de compresión sea inferior a 100 Mbps. ¿Cómo resolverlo?
El video interactivo inmersivo tiene múltiples dimensiones de datos, como resolución, ancho de bits, velocidad de cuadros, estéreo, relación de compresión, etc. La codificación tradicional no tiene soporte suficiente para el análisis y procesamiento inteligente.
Todos los requisitos anteriores indican que necesitamos métodos de codificación más eficientes e inteligentes.
La codificación completa de la red neuronal puede ser una dirección para explorar. La demanda de futuros codificadores tiene varias direcciones:
1. Optimizar la tasa de código directamente en función de la distorsión visual 2. Simplificar el desarrollo de códecs;
3. La computación es altamente paralela 4. Puede ejecutarse eficientemente en hardware implementado 5. Puede descargar actualizaciones.
La segunda etapa de AVS3 se está desarrollando en esta dirección. Al integrar la tecnología de IA, el rendimiento actual de AVS3 supera el VVC en un 7 % y el objetivo futuro es mejorarlo en un 20 %.
En términos generales, la codificación inteligente se desarrollará con el aumento de la riqueza de datos y la potencia informática. La tendencia futura de la codificación inteligente es definir formatos de datos correspondientes para aplicaciones de medios inteligentes y proporcionar interfaces de datos más eficientes.
AVS3 se puede comparar técnicamente con H.266, y aún es pronto, pero ¿por qué no se ha hecho la ecología? En algunos escenarios de baja latencia y bajo consumo de energía, es difícil tener un desarrollo y una exploración profundos sin la integración del chip. El plan actual es lanzar tres chips de códec AVS3 en cuatro años.
La imagen muestra el plan de construcción ecológica AVS3
Lo anterior es mi compartir, gracias!
▲Escanee el código QR en la imagen o haga clic en " Leer el texto original " ▲
Vea más temas interesantes de LiveVideoStackCon 2023 Shanghai Station