Probadores, ¿cómo probar la calidad de transmisión en vivo de los productos de transmisión en vivo?
¿Cuál es el rendimiento que más preocupa a los usuarios?
¿Cuáles son los estándares para las pruebas de calidad de audio y video?
La clave para determinar verdaderamente la competencia futura es mejorar los indicadores de calidad del software de transmisión en vivo bajo la premisa de que las funciones satisfacen las necesidades de los usuarios y realizar pruebas especiales de fluidez, claridad, calidad de sonido, estabilidad y consumo de tráfico, para que para mejorar la calidad de las llamadas de audio y video. .
Principios básicos de audio y video.
1. Colección
El audio y el video deben recopilarse, transmitirse y transformarse mediante sensores en dispositivos de hardware, como cámaras y micrófonos, y finalmente convertirse en señales digitales de computadora. Entre ellos, la reproducción, recopilación y reproducción de videos de dos personas y videos grupales se completa con el complemento ffmpeg .
2. Pretratamiento
Los datos de audio y video recopilados deben procesarse para obtener mejores resultados. El preprocesamiento de audio incluye control de ganancia (AGC), supresión de ruido (ANS), cancelación de eco (AEC), detección de silencio (VAD), etc. Preprocesamiento de video Incluye reducción de ruido de video, escalado y más.
3. Códec
Es necesario codificar y decodificar una señal o un flujo de datos. La transformación a la que se hace referencia aquí incluye la operación de codificar la señal o el flujo de datos (generalmente para transmisión, almacenamiento o cifrado) o extraer un flujo codificado. Hay muchos códecs de video, como vp8, vp9, MPEG, H264, etc.; los códecs de audio se pueden dividir en dos categorías, códecs de voz (SILK, Speex, iSAC, etc.) y códecs de audio (ECELT, AAC wait).
4. Transmisión de red
En la transmisión de red, la transmisión UDP o TCP se seleccionará de acuerdo con los diferentes entornos de red. Generalmente, se prefiere UDP para llamadas de audio y video instantáneas, debido a su mayor libertad y demora, además de la pérdida en el proceso de transmisión Procesamiento, incluido el control de paquetes tamaño, mecanismo FEC, retransmisión de pérdida de paquetes, control de fluctuaciones, retardo, fuera de secuencia, etc.
5. Posprocesamiento
Una vez que los datos se transmiten al receptor a través de la red, se decodifican e ingresan al enlace de procesamiento posterior.En este enlace, es posible que sea necesario volver a muestrear o mezclar los datos de audio, y es posible que el video deba eliminar los efectos de bloqueo, el tiempo reducción de frecuencia de dominio, y así sucesivamente.
6. Visualización de reproducción/procesamiento
Después del posprocesamiento, el proceso de convertir señales digitales en sonido e imagen es la reproducción/renderización. Las API de reproducción de audio de uso común en los sistemas Windows incluyen DirectSound, WaveOut y CoreAudio.
Estándar de calidad de video
Los estándares de calidad de video y los métodos de prueba se presentan a continuación.
1. Velocidad de entrada a la habitación
Requisitos de red normales: se tarda menos de 1 segundo en entrar en la habitación (iOS y Android)
Requisitos de red débil: no existe un estándar para la velocidad de entrada a la habitación en una red débil
Para Android, se recomienda usar modelos de gama baja (como Xiaomi note), y para IOS, se recomienda usar iphone6S para realizar pruebas.
Métodos de prueba
Escenarios de cobertura: la entrada debe cubrir todo, como dentro de la aplicación, QQ, Qzone, WeChat, círculo de amigos, Sina Weibo
1. Un teléfono móvil enciende el cronómetro de nivel de milisegundos, y luego otro teléfono móvil de prueba enciende el producto bajo prueba e ingresa a la sala de anclaje;
2. Después de ingresar a la sala de anclaje y aparece el primer cuadro, pause el cronómetro para registrar datos;
3. Los pasos anteriores deben repetirse para 20 veces de datos, y se promedian los resultados finales.
Datos de productos de la competencia
| modelo |
solicitud |
Tiempo de entrada a la habitación (ms) |
| androide |
Competidor A |
|
| Competidor B |
||
| Competidor C |
||
| Competidor D |
||
| manzana |
Competidor A |
|
| Competidor B |
||
| Competidor C |
||
| Competidor D |
2. Claridad
Requisitos de red normales: en comparación con la versión anterior, la claridad no se ha deteriorado
Requisitos de red débiles: en el escenario donde la tasa de pérdida de paquetes de red es del 10%, la claridad no disminuye significativamente en comparación con los datos de red normales
Herramienta: Imatest
Depuración del entorno:
1. La distancia entre la cámara y la tarjeta de destino es de 0,75 m, y el ángulo entre la fuente de luz y la tarjeta que se va a fotografiar se mantiene a 45 ° para garantizar que no haya sombras en la superficie de la tarjeta;
2. Antes de realizar pruebas con lámparas fluorescentes (D65/CWF/SP35), caliente la fuente de luz durante al menos 15 minutos;
3. Mida la iluminancia y la temperatura de color de 9 puntos en la superficie de la tarjeta reflectante para garantizar la consistencia de la luz y ajuste la posición del teléfono móvil probado para que su posición de disparo esté centrada.
Pasos:
1. Use diferentes productos de la competencia para disparar cartas, importe las imágenes capturadas a la PC, use la herramienta Imatest para calcular la nitidez y haga clic en SFR: Nuevo archivo;
2. Seleccione la imagen que debe procesarse, agréguela, seleccione los 13 puntos de distribución en la imagen (como se muestra en la figura a continuación) para el procesamiento del diagrama de bloques y haga clic en [Sí, continuar] para completar el diagrama de marco
3. Haga clic en [Aceptar] y [Sí], el MTF50P calculado es la definición de la imagen
Factores de influencia
La definición se ve muy afectada por la resolución del video y la tasa de bits. Cuanto mayor sea la tasa de bits de envío y la resolución, mejor será la definición del video. Tenga cuidado de no juzgar la definición basándose únicamente en la resolución en función de la tasa de bits.
Datos de productos de la competencia
| ancla plataforma móvil |
productos de la competencia |
valor de claridad |
| iOS |
Competidor A |
|
| Competidor B |
||
| Competidor C |
||
| Androide |
Competidor A |
|
| Competidor B |
||
| Competidor C |
3. Velocidad de fotogramas
Requisitos normales de la red: debido a la estructura fisiológica especial del ojo humano, si la velocidad de fotogramas de la imagen visualizada es superior a 16, se considerará coherente, por lo que se recomienda que la velocidad de fotogramas no sea inferior a 16 fotogramas. Al configurar la velocidad de fotogramas, puede considerar de manera integral según sus necesidades y compararla con los productos de la competencia. Cuando la velocidad de fotogramas es inferior a 5 fotogramas, el ojo humano obviamente puede sentir que la imagen es incoherente, lo que da como resultado una sensación de estar atascado.
Requisitos de red débiles: en el escenario en el que la tasa de pérdida de paquetes de red es del 10 %, la velocidad de fotogramas no cae significativamente en comparación con la red normal
Métodos de prueba
Equipamiento: 2 ordenadores + 1 cámara + 2 teléfonos móviles. Una computadora reproduce el video, una computadora graba el video, un teléfono móvil actúa como anfitrión, un teléfono móvil actúa como espectador y la cámara capta la pantalla del espectador.
Fuente de video: video específico demo.avi
Pasos:
1. La computadora 1 reproduce el video en bucle demo.avi, y la computadora 2 conecta la cámara y abre el software "VideoStudio";
2. El teléfono móvil A inicia la transmisión en vivo y el teléfono móvil B es la audiencia de la transmisión en vivo. A apunta a la computadora que reproduce el video, abre el software "VideoStudio" y apunta la cámara de la computadora de grabación a B;
3. Haga clic en Capturar en el software "VideoStudio"——"Capturar video—"Establezca "Capturar carpeta", haga clic en Capturar video (alrededor de 10~20 s de grabación), y la captura de video se completará. El formato de video después de la captura es formato mpg;
4. Convierta el archivo en formato mpg a formato yuv: edite el archivo mepg2Dec.cmd, como se muestra en la figura a continuación, cambie el nombre del archivo al nombre del archivo de video capturado, guarde y ejecute mpeg2dec.exe;
5. Abra el archivo YUVviewerPlus.exe, como se muestra en la figura a continuación, configure la resolución del video grabado (la resolución predeterminada del archivo de grabación de VideoStudio es 720 * 480), haga clic en Abrir archivo para abrir el archivo de formato yuv convertido;
6. Haga clic en "siguiente" para comenzar a contar el número de fotogramas. Basado en 30 fotogramas en 1 s, el número de cambios de imagen de escena en 30 segundos es la velocidad de fotogramas (preferiblemente contando 3 s). El valor promedio del número de cambios de imagen en 3 s. Se recomienda tomar el promedio al principio/medio/final del video grabado.
Factores de influencia
Cuando la red es normal y no está dañada, la tasa de cuadros se ve afectada principalmente por el video, y cuanto mayor sea la tasa de bits de video, mayor será la tasa de cuadros y se codificará el flujo de bits de video de alta resolución.
Datos de productos de la competencia
| productos de la competencia |
ancla plataforma móvil |
cuadros por segundo |
| Competidor A |
iOS |
|
| Androide |
||
| Competidor B |
iOS |
|
| Androide |
||
| Competidor C |
iOS |
|
| Androide |
4. Tiempos de congelación
estándar
Requisitos normales de la red:
Requisitos de red débiles:
Métodos de prueba
Globe (IOS) o herramienta de prueba automatizada (Android)
Factores de influencia
Cuando la red es normal y no está dañada, la tasa de cuadros se ve afectada principalmente por el video. Cuanto mayor sea la tasa de bits de video, mayor será la tasa de cuadros y se codificará el flujo de bits de video de alta resolución.
5. Estabilidad de la calidad del video
En varios escenarios de daños y cambios, no se produjo ninguna pantalla borrosa, pantalla negra, interrupción automática, etc. dentro de las 3 horas posteriores a la transmisión en vivo
Métodos de prueba
1. Prueba de daños automatizada y uso del software VideoStudio para grabar;
2. Verifique si el video grabado tiene una pantalla borrosa, una pantalla negra o una interrupción anormal.
estándar de calidad de sonido
Los estándares de calidad de audio y los métodos de prueba se presentan a continuación.
1. Tasa de muestreo
Requisitos normales de la red: frecuencia de muestreo de audio superior a 16k
Requisitos de red débiles: frecuencia de muestreo de audio superior a 16k
La prueba debe cubrir la escena de transmisión en vivo y la escena conectada al micrófono.
Métodos de prueba
Equipo: dos teléfonos móviles, dispositivo de reproducción de muestras, grabadora de voz
1. Un teléfono móvil ingresa al entorno de anclaje y el otro teléfono móvil sirve como terminal de audiencia;
2. Use un dispositivo que pueda reproducir muestras de voz (música) para reproducir en el lado del ancla;
3. La audiencia usa un bolígrafo de grabación para grabar la voz recibida.
4. Use Adobe Audition para ver el espectro: el espectro más alto es de aproximadamente 7k, por lo que la tasa de muestreo debe ser de 16k;
2. Puntuación objetiva de la calidad del sonido
Requisitos normales de la red: durante la transmisión en vivo de la red normal, el puntaje promedio de calidad de voz> = 4.0 puntos
Requisitos de red débil: cuando se transmite en vivo en una red débil, el puntaje promedio de calidad de voz es >= 3.5 puntos
Métodos de prueba
Modo en vivo: dado que el tiempo de demora de la transmisión en vivo es mayor a 2 segundos, el cable de audio se usa para grabar y cortar la partitura antes de usar el dispositivo SPIRENT para la puntuación.
Equipo: dos cables de audio, una PC, dos teléfonos móviles
1. El micrófono en el extremo del anfitrión está conectado al altavoz de la PC, y el altavoz en el extremo de la audiencia está conectado al micrófono de la PC;
2. La PC realiza un bucle para reproducir muestras de voz de 48k (la duración de la muestra es de 10 s);
3. Abra Adobe Audition para grabar, el tiempo de grabación es de aproximadamente 2 minutos;
4. Corte el audio grabado en segmentos (cada voz es de 10 s, y la voz en blanco anterior se reserva para unos 3 s)
5. Cargue el archivo de audio cortado en el dispositivo SPIRENT y calcule el puntaje promedio de POLQA.
Modo de micrófono conectado: el retraso es inferior a 1 s y la calidad del sonido se puede medir directamente con el equipo SPIRENT.
1. El extremo del ancla se conecta al extremo del público;
2. Conéctese al dispositivo SPIRENT para probar la calidad del sonido, el tiempo de prueba bidireccional es de aproximadamente 8 minutos;
3. Obtenga el puntaje promedio de calidad de sonido
3. Sincronización de audio y video
En una red normal y una red débil, la probabilidad de que el audio y el video no estén sincronizados es 0.
Métodos de prueba
Mientras ve la transmisión en vivo, juzgue subjetivamente si la forma de la boca y la voz del presentador en la pantalla de video coinciden
.
En el modo anfitrión y audiencia, el efecto de cancelación de ruido del anfitrión→audiencia no es peor que el de la versión anterior.
Métodos de prueba
Equipo: un cable de audio, un dispositivo para reproducir muestras de voz y una PC
1. El extremo del ancla se conecta al extremo del público;
2. Coloque el teléfono móvil del ancla en la sala anecoica y arréglelo, y luego use un dispositivo que pueda reproducir muestras de voz para reproducir la muestra de ruido en la sala anecoica;
3. Conecte el puerto del altavoz del visor al micrófono de la PC;
4. Use Adobe Audition para grabar y guardar el archivo;
5. Grabe la versión anterior de la misma manera (mantenga el mismo entorno de prueba);
6. Compare las versiones anterior y nueva, seleccione el mismo segmento de voz y el mismo segmento de ruido, y calcule la relación señal-ruido.
4. Cancelación de eco de Lianmai
Estándar: en el modo cómico entre el presentador y la audiencia, el eco que escucha el orador es relativamente pequeño durante el habla simple y doble, lo que no afectará la comunicación.
Métodos de prueba
Charla individual: encienda el altavoz en el extremo de la audiencia, hable en el extremo del anfitrión y escuche subjetivamente si hay un eco; por otro lado, el extremo de la audiencia habla y escucha si hay un eco.
Habla dual: Ambas partes encienden los parlantes y hablan al mismo tiempo, escuchando subjetivamente para ver si hay un eco, o el sonido se corta intermitentemente.
Por último, me gustaría agradecer a todos los que han leído detenidamente mi artículo. La reciprocidad siempre es necesaria. Aunque no es algo muy valioso, puedes quitártelo si lo necesitas:
Estos materiales deben ser el almacén de preparación más amplio y completo para los amigos [de pruebas de software]. Este almacén también ha acompañado a decenas de miles de ingenieros de pruebas a través del viaje más difícil, ¡y espero que pueda ayudarlos!