Preguntas frecuentes sobre audio y vídeo (2) Alto retraso en la transmisión de vídeo en directo

Resumen

La alta latencia es uno de los problemas comunes en la tecnología interactiva en tiempo real. Para resolver el problema de la alta latencia, es necesario considerar de manera integral múltiples factores, como la red, el equipo y los algoritmos de codificación y decodificación. Las soluciones incluyen optimizar la latencia del dispositivo, optimizar la latencia de transmisión de la red y usar UDP para la transmisión de audio y video, etc. Al elegir un protocolo de transmisión de audio y video, es necesario considerar de manera integral las necesidades reales y las condiciones de la red, y elegir el protocolo más adecuado.
Este artículo presenta los motivos y las soluciones de la alta latencia, con la esperanza de ayudar a los desarrolladores de audio y video.

prefacio

Para los desarrolladores de audio y video, es muy necesario dominar las habilidades técnicas y los métodos de resolución de problemas. Los métodos técnicos de resolución de problemas también pueden ayudar a los desarrolladores a comprender mejor los principios y mecanismos de funcionamiento de la tecnología de audio y video, para comprender mejor el audio y el video. profundamente Varios problemas encontrados en el desarrollo.

Es decir, basándose en la acumulación de tecnología en el campo de la interacción en tiempo real y la garantía de servicio al cliente durante muchos años, lanzaremos una serie de artículos "Preguntas frecuentes sobre tecnología de audio y video" para compartir problemas y experiencias comunes en el campo. de tecnología de audio y video, y al mismo tiempo adjuntar conocimientos comerciales generales para problemas específicos. Además de soluciones comunes y experiencias de casos, espero que esta serie pueda convertirse en un folleto general de audio y video a su disposición, que ayude a los desarrolladores a localizar rápidamente problemas y encontrar soluciones adecuadas.

Esta serie se actualizará periódicamente y se han resuelto las siguientes preguntas frecuentes:

1. Vídeo atascado
2. alta latencia
3. Audio e imagen no sincronizados
4. Video pantalla borrosa, pantalla verde
5. vídeo pantalla negra
6. Vídeo ampliado o barras negras
7. Primero abre lentamente
8. Control de flujo de audio y vídeo.
9. vídeo borroso
10. No puedo abrir la cámara
11. eco de audio
12. el volumen es demasiado bajo
13. ruido de audio
14. silencioso
15. Cambio de volumen del micrófono

Este artículo es el segundo de la serie **"Preguntas frecuentes sobre tecnología de audio y vídeo". En esta publicación, veremos más de cerca cómo manejar y solucionar problemas de "alta latencia"**, uno de los problemas más comunes en la tecnología interactiva en tiempo real.

Primero presentaremos qué es la "alta latencia", luego enumeraremos las posibles causas del problema y finalmente brindaremos algunas soluciones y sugerencias, y también presentaremos algunos ejemplos de SDK de audio y video de terceros, a saber, RTC de audio y video en tiempo real. Creemos que esta información será de gran utilidad para los desarrolladores que busquen una solución alternativa.

Primero, la definición de alto retraso.

Las videollamadas y las transmisiones en vivo son dos escenarios de aplicación diferentes, y existen diferencias obvias en la tolerancia al retraso, principalmente porque sus escenarios de aplicación y las expectativas de los usuarios son diferentes. Las videollamadas persiguen la fluidez de la interacción en tiempo real, mientras que las retransmisiones en directo prestan más atención a la continuidad y amplia distribución del contenido.

Videollamada (comunicación en tiempo real) : las videollamadas persiguen la fluidez de la interacción en tiempo real y el retraso máximo tolerable: generalmente se cree que un retraso entre 150 milisegundos y 300 milisegundos es aceptable, porque en este rango, los humanos suelen hacerlo. No creo que sea obvio llamar con retraso. En escenarios como reuniones de negocios, telemedicina o educación a distancia, una latencia alta puede afectar seriamente el rendimiento y la experiencia del usuario.

Transmisión en vivo : Retraso máximo tolerable: Los requisitos de retraso para la transmisión en vivo variarán según los escenarios y requisitos de aplicación específicos. Los espectadores prestan más atención a la continuidad y claridad del contenido cuando ven una transmisión en vivo, en general, un retraso entre 3 y 30 segundos puede considerarse aceptable. En comparación con la comunicación en tiempo real, la transmisión en vivo es más tolerante a los retrasos. Pero esto no tiene solución y algunos escenarios con mayores requisitos de tiempo real pueden requerir una latencia más baja. Por ejemplo, espectáculos en vivo, transmisiones en vivo de deportes electrónicos y otras escenas que requieren un mayor rendimiento en tiempo real,

2. Problemas con alta latencia

La alta latencia significa que en la interacción en tiempo real, debido a factores como la transmisión de la red y el rendimiento del dispositivo, el retraso de los datos de audio y video en el proceso de transmisión es demasiado alto, lo que afecta la visualización y la experiencia del usuario. En el desarrollo de audio y video, la latencia alta generalmente se refiere a la latencia de audio y video.
El impacto de escenarios específicos:

• Un retraso notable en la comunicación, como que el audio o el video no estén sincronizados con lo que realmente sucedió.
• En el juego, existe una clara brecha entre las acciones del jugador y la reacción del juego.
• Durante la transmisión en vivo, hay una diferencia horaria obvia entre el presentador y la audiencia.

3. La generación y el motivo del gran retraso.

Todo el proceso de transmisión de audio y video: colección de audio y video-procesamiento de codificación-transmisión de red-procesamiento del servidor-procesamiento de decodificación-reproducción de audio y video.
El proceso de transmisión de audio y video se puede dividir en los siguientes tres módulos principales, los cuales pueden causar retrasos:
1. Retraso en el lado del dispositivo : incluido el retraso de adquisición, el retraso de procesamiento, el retraso de codificación y el retraso de reproducción.

• Retraso de adquisición : el retraso generado durante el proceso de adquisición de datos de fuentes de audio y video de dispositivos de hardware (como micrófonos y cámaras) y conversión en señales digitales.
• Retraso de procesamiento : el retraso generado durante diversos procesamientos (como reducción de ruido, control de ganancia, cancelación de eco, etc.) de datos de audio y video.
• Retraso del códec : el retraso generado durante el proceso de codificación (conversión a un formato que se puede transmitir) y decodificación (conversión a un formato que se puede reproducir) de datos de audio y video.
• Retraso de reproducción : el retraso generado durante la reproducción final de datos de audio y video, incluido el retraso en la reproducción de video y el retraso en la reproducción de audio.

2. Retraso de transmisión de red : el retraso generado durante la transmisión de datos de audio y video desde el remitente al receptor a través de la red, incluyendo las siguientes partes:

• Retraso del cliente al servidor : el retraso en el envío de datos de audio y video del cliente al servidor depende de las condiciones de la red, el ancho de banda, la distancia física, etc.
• Retraso de procesamiento interno del servidor : el retraso generado durante la recepción, procesamiento y reenvío de datos por parte del servidor.
• Retraso del servidor al cliente : El retraso en el envío de datos del servidor al cliente también depende de las condiciones de la red, ancho de banda, distancia física, etc.

3. Retraso entre servidores : en un entorno informático de borde o de múltiples servidores, los datos de audio y video también se retrasarán durante la transmisión entre servidores.

5. Soluciones con alta latencia

En todo el proceso de transmisión de audio y video, resolver el problema del alto retraso es una tarea integral que debe optimizarse y mejorarse en todos los aspectos. A continuación daré algunas sugerencias para resolver el problema de la alta latencia.

Para resolver el problema de la alta latencia en todo el proceso de transmisión de audio y video, es necesario optimizar desde múltiples aspectos como el equipo, la transmisión de red y la configuración de la pila de tecnología. Para escenarios de transmisión de audio y video con altos requisitos en tiempo real, se recomienda utilizar el protocolo UDP para la transmisión y, al diseñar y seleccionar una pila de tecnología, considerar la coincidencia entre el retraso esperado y el rendimiento real. Los pasos de procesamiento son los siguientes:

1. Verifique si se trata de un problema de red
2. Optimice el retraso en el lado del dispositivo
3. Optimice el retraso de transmisión de la red
4. Verifique el retraso esperado de la pila de tecnología
5. Utilice UDP para la transmisión de audio y video

A continuación, detallaremos cada paso uno por uno y brindaremos ejemplos relevantes para ayudar a los lectores a comprender y aplicar mejor estos pasos. También profundizaremos en los escenarios de aplicación práctica de estos pasos para ayudar a los desarrolladores a comprender mejor cómo aplicar estos pasos a problemas reales.

6. Compruebe si se trata de un problema de red.

Cuando se trata de problemas de latencia de audio y vídeo, el primer paso es determinar si el problema está basado en la red. La calidad de la red, la distancia física y la congestión de la red pueden provocar retrasos importantes. Se pueden utilizar varias herramientas de prueba de red, como Ping, Traceroute, iPerf y Wireshark, para probar el retraso de la red y la tasa de pérdida de paquetes para determinar si existe un problema de red.

Los motivos de red son uno de los principales motivos de la alta latencia. Las soluciones incluyen los siguientes aspectos:

• Calidad de la red : en el caso de malas condiciones de la red, se pueden utilizar algunas tecnologías para mejorar la calidad de la red, como el uso de QoS (calidad de servicio) y la mejora de la estabilidad de las conexiones de la red.
• Distancia física : elija un servidor lo más cerca posible del usuario, reduzca el retraso causado por la distancia física y mejore la estabilidad de la conexión de red.
• Congestión de la red : en el caso de la congestión de la red, puede utilizar algoritmos de control de congestión, como el control de congestión en TCP, o utilizar tecnologías como CDN para dispersar el tráfico de la red.
  Al mismo tiempo, supervise el uso del ancho de banda de la red para garantizar un ancho de banda suficiente y evitar que la congestión de la red provoque un aumento del retraso.

7. Verificar el retraso esperado de la pila de tecnología.

Si determinamos que la red está en buenas condiciones, el siguiente paso es verificar el retraso en el proceso de transmisión de audio y video que realmente estás utilizando, lo cual teóricamente está relacionado con la tecnología que utilizas (como esquemas específicos de códecs de audio y video, protocolos de transmisión de red, configuraciones del servidor, etc.) Si el retraso esperado coincide con lo anterior.

Al verificar si el retraso de la transmisión de audio y video coincide con las expectativas técnicas, existen varios pasos como referencia:

1. Obtenga la latencia esperada de la pila de tecnología : leyendo documentos técnicos, informes técnicos o informes de investigación relevantes, obtenga la latencia esperada del esquema de códec, el protocolo de transmisión de red y otras tecnologías que esté utilizando. Por lo general, esto tiene un rango, no un valor exacto, porque el retraso real se verá afectado por muchos factores (como las condiciones de la red, el rendimiento del dispositivo, etc.).
2. Mida el retraso real : utilice herramientas profesionales de análisis de audio y video, como Wireshark, FFmpeg, OBS, etc. para obtener el retraso real de la transmisión de audio y video. Estas herramientas pueden proporcionar información detallada de las transmisiones de audio y video, como marcas de tiempo de paquetes de datos, tiempos de envío y recepción, etc., que pueden usarse para calcular el retraso real de la transmisión de audio y video.
3. Comparar y analizar : compare las latencias medidas reales con las latencias técnicamente esperadas. Si la latencia real es significativamente mayor que la esperada, puede haber un problema. Analice las posibles razones. Puede ser que la condición de la red no sea buena, lo que provoca la pérdida o retraso de los paquetes de datos, también puede ser que la configuración del códec no sea adecuada, como que el nivel de codificación sea demasiado alto, lo que excede el capacidad de procesamiento del dispositivo, o el problema de configuración del servidor, como por ejemplo: El ancho de banda de la red del servidor es insuficiente para cumplir con los requisitos de transmisión de datos de audio y video.
4. Ajuste y optimización : Ajustar y optimizar posibles problemas según los resultados del análisis. Si se trata de un problema de red, puede considerar optimizar el entorno de red o utilizar un dispositivo de red más potente; si se trata de un problema de códec, puede ajustar la configuración del códec, reducir el nivel de codificación o cambiar a una solución de códec más eficiente. ; si se trata de un problema del servidor, puede aumentar el ancho de banda de la red del servidor u optimizar la configuración del servidor.

Los pasos 1 y 2 anteriores son relativamente simples y solo se necesitan documentos técnicos y herramientas de medición relevantes, por lo que no los repetiré aquí. Los pasos 3 y 4 son los puntos centrales de esta sesión y ampliaremos la declaración.

8. Comparación y análisis de la latencia esperada

Expliquemos este proceso con un ejemplo concreto. Suponga que está implementando un sistema de comunicación de audio y video en tiempo real y elige utilizar codificación de video H.264 y codificación de audio Opus, así como el protocolo de transmisión de red RTP/UDP.

Al leer la documentación y los recursos de estas tecnologías, es posible que encuentre algunos datos sobre las latencias esperadas en diferentes condiciones de red y hardware. Por ejemplo, la codificación H.264 puede tener un retraso de códec de 50 milisegundos, la codificación Opus puede tener un retraso de códec de 20 milisegundos y la transmisión de red RTP/UDP puede tener un retraso de red de 50 milisegundos. Entonces, puede esperar que, en condiciones ideales de red y hardware, el retraso total de su sistema de comunicación de audio y video sea de alrededor de 100 milisegundos.

Luego, puede utilizar algunas herramientas y métodos de prueba, como Ping, iPerf, Wireshark, etc., mencionados anteriormente, para medir el retraso de su sistema en el funcionamiento real. Si su latencia real está dentro del rango de latencia esperada de 100 ms, entonces puede asumir que su sistema de comunicación AV está funcionando según lo esperado para la pila de tecnología en uso. Por el contrario, si su retraso real es mucho mayor que los 100 milisegundos esperados, es posible que necesite analizar y optimizar su sistema más a fondo, por ejemplo, verificar su entorno de red, optimizar la configuración de su códec, ajustar los parámetros de transmisión de su red, etc., para reducir latencia.

Nueve, ajuste y optimización del retraso.

La latencia esperada de la transmisión de audio y vídeo, en general, depende de la tecnología elegida, incluidos códecs, protocolos de transporte, arquitectura de red, etc. Diferentes pilas de tecnología afectan la latencia en diferentes grados, por lo que cuando se trata de problemas de latencia, es importante conocer y verificar la latencia esperada para la pila de tecnología que está utilizando.

1. Códec : el rendimiento del códec de audio y vídeo afectará directamente al retraso del códec. Por ejemplo, algunos códecs complejos, como AV1, pueden proporcionar vídeo de alta calidad, pero su proceso de códec puede introducir un mayor retraso. Por el contrario, algunos códecs más simples, como H.264, pueden tener una latencia de códec más baja. Por lo tanto, comprobar la latencia esperada del códec puede ayudar a comprender si la situación de latencia actual es la esperada.
2. Protocolo de transmisión : como se mencionó anteriormente, TCP y UDP son dos protocolos de transmisión de red de uso común y su impacto en el retraso también es diferente. TCP proporciona una transmisión de datos confiable, pero puede introducir grandes retrasos porque necesita garantizar la llegada en orden de todos los paquetes de datos y la detección de errores. UDP no garantiza la llegada en orden ni la transmisión confiable de paquetes de datos, por lo que suele tener un retraso menor. Si la pila de tecnología que está utilizando incluye TCP, es posible que deba aceptar latencias esperadas más altas que UDP.
3. Arquitectura de red : la arquitectura de red para la transmisión de audio y video, como la transmisión punto a punto, la transferencia del servidor en la nube, etc., también afectará el retraso. La transmisión punto a punto generalmente proporciona una latencia más baja, pero puede verse afectada por diversas condiciones de la red. Si bien los datos transferidos a través del servidor en la nube pueden proporcionar una transmisión más estable, pueden aumentar el retraso. Verificar la latencia esperada en esta sección puede ayudarlo a comprender si necesita ajustar la arquitectura de la red para optimizar la latencia.

10. Optimice el retraso en el lado del dispositivo.

En todo el proceso de transmisión de audio y video, el retraso en el lado del dispositivo ocurre principalmente en las etapas inicial (recopilación, codificación) y final (decodificación, reproducción) de la transmisión de audio y video. El retraso en el lado del dispositivo generalmente se ve afectado por factores como el rendimiento del dispositivo, la eficiencia del códec y el rendimiento del reproductor.
El dispositivo también es una razón importante para la alta latencia. Para la latencia del dispositivo, se puede optimizar el rendimiento del hardware y del software. Incluyendo los siguientes aspectos:

• Rendimiento del equipo de adquisición : optimice el equipo de hardware o utilice equipos de mayor rendimiento para reducir el retraso en la adquisición.
• Rendimiento del códec : utilice algoritmos de códec más eficientes o utilice la aceleración de hardware para reducir los retrasos del códec.
• Rendimiento de procesamiento : optimice los algoritmos de procesamiento, como el uso de algoritmos de reducción de ruido más eficientes, la optimización de algoritmos de control de ganancia, etc., para reducir los retrasos en el procesamiento. O utilice un mejor hardware para reducir los retrasos en el procesamiento.
• Rendimiento del dispositivo de reproducción : utilice dispositivos de mayor rendimiento u optimice los algoritmos y el software de reproducción para reducir los retrasos en la reproducción.

En general, el problema del retraso del lado del dispositivo es un factor importante que afecta el efecto de transmisión de audio y video y requiere una investigación y optimización cuidadosas. Al optimizar los dispositivos de hardware, códecs, algoritmos de procesamiento y reproductores, es posible reducir efectivamente el retraso del lado del dispositivo y mejorar el efecto de la transmisión de audio y video.

11. Optimice el retraso de transmisión de la red

Retraso en el procesamiento del servidor: en el lado del servidor, el proceso de recepción, almacenamiento en búfer, procesamiento y reenvío de datos de audio y video puede causar retrasos. La estrategia de almacenamiento en búfer, la estrategia de reenvío, etc. del servidor también afectará la velocidad a la que el servidor procesa los datos de audio y video, lo que afectará el retraso.
El retraso entre servidores tiene los siguientes aspectos: retraso de cliente a servidor, retraso de procesamiento interno del servidor, retraso de servidor a cliente y retraso de servidor a servidor.

El método de optimización es el siguiente:

• Rendimiento del servidor : para el problema de demora entre servidores, la demora de procesamiento se puede reducir mejorando el rendimiento del hardware del servidor u optimizando el software y el algoritmo del servidor.
• Estrategia del servidor : Para el problema de retraso del procesamiento interno del servidor, la estrategia del servidor se puede optimizar, incluida la estrategia de búfer, la estrategia de equilibrio de carga, la estrategia de reenvío, etc., para mejorar la eficiencia del procesamiento y la transmisión y reducir el retraso.
• Optimización de la ubicación física del servidor : retrase los problemas de cliente a servidor o de servidor a cliente, utilice la informática perimetral para distribuir tareas informáticas a servidores perimetrales más cercanos a los usuarios o utilice tecnologías como la red de distribución de contenidos (CDN) para distribuir datos Distribuir lo más cerca posible al usuario como sea posible para reducir la distancia física entre servidores y reducir la distancia de transmisión de datos en la red, reduciendo así el retraso.

En la transmisión de audio y vídeo, el retraso del servidor se puede mejorar optimizando las rutas de red, el rendimiento del servidor, utilizando protocolos CDN y UDP, aplicando informática de punta, equilibrio de carga del servidor, utilizando tecnología de códec más eficiente y mejorando las capacidades de procesamiento concurrente del servidor. .

Entre las estrategias anteriores, es difícil especificar una sola estrategia más crítica, porque cada estrategia juega un papel importante en escenarios y problemas específicos. La elección de la estrategia más crítica depende de la situación y las necesidades reales. Sin embargo, el uso de UDP para la transmisión de audio y video se considera una de las estrategias más efectivas en la transmisión de audio y video.

12. Utilice UDP para transmisión de audio y video.

UDP (Protocolo de datagramas de usuario): UDP es un protocolo sin conexión, al enviar datos no necesita establecer una conexión y se puede enviar directamente. Este método suele ser más eficaz cuando se trata de transmisión de datos en tiempo real, como datos de audio y vídeo.

Los escenarios de transmisión de audio y video generalmente tienen requisitos estrictos en tiempo real y baja latencia, y UDP (Protocolo de datagramas de usuario) tiene ventajas obvias para cumplir con estos requisitos, especialmente en baja latencia. UDP tiene las siguientes ventajas:

1. Tiempo real : en la transmisión de audio y video, el tiempo real es muy importante, especialmente en escenarios de comunicación en tiempo real, como videoconferencias, transmisiones en vivo en tiempo real, juegos en línea, etc. Como protocolo de transmisión sin conexión, UDP puede enviar paquetes de datos directamente sin protocolo de enlace ni establecimiento de conexión antes de la transmisión, lo que puede reducir el retraso de la transmisión y garantizar la llegada oportuna de datos de audio y video, logrando así un mejor rendimiento en tiempo real.
2. Baja latencia : la transmisión de audio y vídeo tiene requisitos de latencia muy altos, especialmente en aplicaciones altamente interactivas. Como protocolo de transmisión orientado a conexión, TCP necesita establecer una conexión, realizar confirmación de datos y mecanismos de retransmisión antes de la transmisión de datos. Estas operaciones adicionales aumentarán el retraso de la transmisión. UDP no requiere estas operaciones adicionales y puede transmitir datos más rápido, lo que reduce el retraso y garantiza la transmisión oportuna de datos de audio y video.
3. Transmisión/eficiencia de ancho de banda : El encabezado UDP es relativamente pequeño y no existe un mecanismo complejo de gestión de conexión y control de congestión de TCP, lo que hace que UDP sea más eficiente en la transmisión. En la transmisión de audio y video, generalmente es necesario transmitir una gran cantidad de datos de manera eficiente, y la eficiencia de transmisión de UDP puede satisfacer mejor esta demanda.
4. Flexibilidad : El protocolo UDP es relativamente simple, sin el complejo mecanismo de administración de conexiones de TCP, por lo que los desarrolladores pueden controlar más libremente el proceso de transmisión de datos de audio y video, y optimizarlo y personalizarlo según las necesidades reales.
5. Antipérdida de paquetes : en la comunicación en tiempo real, el impacto de la pérdida ocasional de unos pocos paquetes en la experiencia del usuario suele ser tolerable. UDP es un protocolo de transporte poco confiable y no tiene ningún mecanismo de retransmisión de datos. Una vez que se pierde un paquete, UDP no lo reenvía, sino que simplemente lo descarta. Porque en la comunicación en tiempo real, una retransmisión excesiva puede causar un mayor retraso, y en transmisiones continuas de audio y video, la pérdida de algunos paquetes de datos no tendrá mucho impacto en la experiencia general.

Aunque UDP tiene ventajas en tiempo real y baja latencia, también existen algunas desventajas que deben tenerse en cuenta. UDP es un protocolo de transporte poco confiable que provoca pérdida de paquetes y falta de secuencia.
Por lo tanto, al utilizar UDP para la transmisión de audio y video, los desarrolladores deben implementar algunos mecanismos adicionales, como corrección de errores de reenvío, estrategia de retransmisión, recuperación de pérdida de paquetes, etc., para garantizar la confiabilidad de la transmisión y la integridad de los datos.
Además, la transmisión UDP tiene altos requisitos en cuanto a la estabilidad de la red: si el entorno de la red es deficiente o hay un problema grave de pérdida de paquetes, la calidad de la transmisión de audio y video puede verse afectada.
Por lo tanto, al elegir UDP como protocolo de transmisión de audio y video, es necesario considerar de manera integral las necesidades reales y las condiciones de la red y tomar una decisión adecuada.

Al elegir un protocolo de transmisión de audio y video, es necesario considerar de manera integral las necesidades reales y las condiciones de la red. Si las consideraciones principales son el tiempo real y la baja latencia, y la confiabilidad de la transmisión de datos se puede resolver mediante la capa de aplicación, entonces usar UDP es una mejor opción.
Sin embargo, si los requisitos de integridad y confiabilidad de los datos son altos y se puede tolerar un retraso ligeramente mayor, entonces TCP también es una opción factible. La decisión final debe tomarse en función de escenarios y necesidades específicas.

El problema del retraso en la transmisión de audio y vídeo es un problema complejo y es necesario elegir una estrategia de optimización adecuada según la situación específica. Los fabricantes de audio y video tienen un conjunto de soluciones maduras para alta latencia. Si utiliza servicios SDK de audio y video de terceros, puede utilizar directamente sus servicios de optimización. Tomando Instant Reality como ejemplo, su solución de alta latencia se basa en la optimización profunda de los procesos de procesamiento de audio y video, así como en la gestión efectiva de los protocolos de transmisión de red y los recursos del servidor.

13. SDK de audio y vídeo de terceros: solución de "alta latencia"

El uso de un SDK de audio y vídeo de terceros puede simplificar enormemente el proceso de desarrollo y reducir la dificultad del mismo. Y estos SDK generalmente se prueban en un entorno real a gran escala, lo que puede proporcionar un rendimiento más confiable. Instant SDK es un producto muy conocido en la industria del audio y el video, que puede proporcionar a los desarrolladores audio y video en tiempo real, mensajes en tiempo real, pizarra interactiva y otros servicios. Contiene tecnología de códec de audio y video optimizada y protocolo de transmisión de red. , control de calidad QoS y otros módulos.

Sitio web oficial de Zego Technology ( https://www.zego.im/ ))

Cuando encuentre el problema de un alto retraso en la transmisión de audio y video, puede usar el SDK instantáneo para resolverlo desde los siguientes ángulos:

1. Utilice el módulo QoS de Jigou SDK : Jigou SDK tiene un módulo QoS (Calidad de servicio) incorporado, que puede ajustar dinámicamente los parámetros de transmisión según las condiciones de la red, incluida la velocidad de bits, la velocidad de fotogramas, la resolución, etc., para garantizar la fluidez. y calidad de transmisión de audio y vídeo, baja latencia.
2. Utilice la función de optimización de la transmisión de red de Instant SDK : Instant SDK utiliza el protocolo UDP optimizado para la transmisión de audio y video, incluida la recuperación de pérdida de paquetes, control de congestión de la red y otras funciones, que pueden reducir el retraso de la transmisión de audio y video al tiempo que garantizan la calidad de la transmisión. .
3. Optimice el proceso de codificación y decodificación : el SDK tiene algoritmos integrados de codificación y decodificación de audio y video optimizados, que pueden reducir el retraso en la codificación y decodificación tanto como sea posible y al mismo tiempo garantizar la calidad del audio y el video.
4. Utilice recursos de servidor instantáneos : Instant proporciona recursos de servidor globales de múltiples nodos, que pueden garantizar la transmisión rápida de datos de audio y video entre servidores, reduciendo así el retraso entre servidores.

Todas las medidas de optimización anteriores se pueden controlar y configurar a través de la interfaz RTC de audio y video en tiempo real ( https://www.zego.im/product/realtime-video )
, y puede elegir de manera flexible según los escenarios y necesidades de su aplicación. qué características y estrategias utilizar.

A través de las diversas medidas de optimización mencionadas anteriormente, el SDK de audio y video de Gouwai puede lograr una transmisión de audio y video de baja latencia en la mayoría de los casos. Por supuesto, si encuentra problemas especiales durante el uso, generalmente brindan soporte técnico profesional para ayudarlo a resolverlos. En general, al utilizar Zego SDK ( https://www.zego.im ) , puede centrarse más en su lógica empresarial y dejar la optimización de la transmisión de audio y vídeo a un SDK profesional.

Lo anterior proporciona fabricantes de audio y video y soluciones generales, que pueden necesitar ajustes de acuerdo con condiciones específicas durante una implementación específica. Para los pasos anteriores, los explicaremos uno por uno a continuación.

epílogo

Este artículo explora el problema de la alta latencia en la transmisión de audio y video y brinda soluciones. Para optimizar los retrasos en la transmisión de red y del lado del dispositivo, se recomienda mejorar los dispositivos de hardware, códecs, algoritmos de procesamiento y reproductores, y considerar optimizar el procesamiento del servidor y las estrategias de ubicación física. En la transmisión de audio y vídeo, el uso del protocolo UDP puede reducir eficazmente el retraso del servidor, pero se debe prestar atención a su falta de fiabilidad. Por lo tanto, al elegir un protocolo de transmisión de audio y video, es necesario considerar de manera integral las necesidades reales y las condiciones de la red.