Me gustaría usar esta serie de publicaciones para registrar mi proceso personal de aprendizaje y crecimiento en audio y video. Si puedo ayudarlo, será un honor;
Marco de principios de grabación de audio y video:
Cámara:
Los datos recopilados por la cámara se pueden representar por rgb/yuv , rgb es fácil de entender, es decir, los tres colores primarios, rojo, verde y azul, yuv hablará de eso más adelante.
Marco de imagen:
Los cuadros de imagen recopilados, por ejemplo, 25 cuadros por segundo, son 25 cuadros.
Procesamiento de imágenes:
¿Para qué sirve este módulo? Por ejemplo, si nuestra imagen es oscura, podemos iluminarla un poco y luego podemos operar en este módulo.
Cola de cuadros de imagen:
Es decir, los datos que recopilamos se colocarán primero en una cola de marcos de imagen y esperarán a que el subproceso de codificación obtenga estos datos para la codificación.
Codificación de vídeo:
¿Por qué codificar videos? Porque si no haces la codificación de video, entonces el volumen de este video es muy, muy grande . Por ejemplo, si descarga una imagen de 1k, puede tener 3mb, pero hay muchas imágenes en un archivo de video, entonces el video consumirá mucho espacio si no está comprimido, por lo que este módulo es necesario. Escribimos los datos comprimidos en un archivo de acuerdo con un formato determinado.
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
micrófono:
Los datos recogidos por el micrófono se expresan en PCM
Marco de muestra:
El llamado marco de muestreo consiste en usar N puntos de muestreo para comprimir los datos de audio en un solo cuadro; (si no lo entiende, puede sustituirlo en el archivo de video, por ejemplo, cuando graba un video ordinario de 1k, usa 1920*1080 píxeles para fusionar en un marco de datos de imagen);
En cuanto a la cantidad de datos que se recopilan para la compresión de codificación, por ejemplo, 44,1k es común (44,1k puntos de muestreo se recopilan en un segundo). ¿Cuántos puntos de muestreo se utilizan como un cuadro de datos para la compresión? Se puede comprimir un segundo de datos para un cuadro, pero el retraso es relativamente grande, por lo que se puede dividir en otros más pequeños. Por ejemplo, se puede hacer un cuadro en más de 20 milisegundos Los datos se comprimen así;
Cuando hable de pcm más adelante, diré cuántos puntos de muestreo son más razonables para hacer un marco de datos; solo entiéndalo por el momento
Procesamiento de audio:
A veces se realizan algunas operaciones sobre el sonido, como cambiar la voz, etc.
Cola de fotogramas de muestra:
Es similar a la cola de marcos de imágenes.También coloca los datos en la cola primero y espera a que el subproceso de codificación lea los datos de la cola y luego los comprime.
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
multiplexor:
Cuando nuestros datos de audio y video se escriben en el archivo, se escriben de acuerdo con ciertas reglas, de modo que cuando los reproduzcamos, se analizarán de acuerdo con las reglas inversas, de modo que los datos de audio y video se puedan extraer y reproducir.
Las llamadas reglas como MP4, el formato de archivos multimedia como avi son reglas;
reloj:
Cuando estamos reproduciendo, el audio y el video deben estar sincronizados. Si no hay un registro de información del reloj, a veces, después de realizar algunas operaciones (como arrastrar y reproducir), la imagen y el audio no estarán sincronizados. El video se está reproduciendo. los datos del primer segundo, y el audio está reproduciendo los datos del décimo segundo, por lo que debemos agregar este reloj al momento de grabar. ( El audio y el video usan el mismo reloj al grabar ), y cada cuadro de datos recopilados se marcará con una marca de tiempo correspondiente .