이 시리즈의 게시물을 사용하여 개인 오디오 및 비디오 학습 및 성장 과정을 기록하고 싶습니다. 도움이 될 수 있다면 영광입니다.
오디오 및 비디오 녹화 원칙 프레임워크:
카메라:
카메라가 수집한 데이터는 rgb/yuv 로 나타낼 수 있습니다. rgb는 이해하기 쉽습니다. 즉, 빨강, 녹색 및 파랑의 세 가지 기본 색상입니다. yuv는 나중에 설명합니다.
이미지 프레임:
예를 들어, 초당 25 프레임으로 수집된 이미지 프레임은 25 프레임입니다.
이미지 처리:
이 모듈은 무엇에 사용됩니까? 예를 들어, 이미지가 어두우면 약간 밝게 할 수 있으며 이 모듈에서 작업할 수 있습니다.
이미지 프레임 대기열:
즉, 우리가 수집한 데이터는 먼저 이미지 프레임 대기열에 넣고 인코딩 스레드가 인코딩을 위해 이러한 데이터를 가져올 때까지 기다립니다.
비디오 인코딩:
비디오 인코딩을 수행하는 이유는 무엇입니까? 비디오 인코딩을 수행하지 않으면 이 비디오의 볼륨이 매우 매우 크기 때문입니다 . 예를 들어 1k 사진을 다운받으면 3mb가 될 수 있지만 동영상 파일에 사진이 많으면 압축하지 않으면 비디오가 많은 공간을 차지하므로 이 모듈이 필요합니다. 압축된 데이터를 특정 형식에 따라 파일에 기록합니다.
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
마이크로폰:
마이크가 수집한 데이터를 PCM으로 표현
샘플 프레임:
소위 샘플링 프레임은 N개의 샘플링 포인트를 사용하여 오디오 데이터를 하나의 프레임으로 압축하는 것입니다. 1920*1080픽셀을 사진 데이터 프레임에 융합);
인코딩 압축을 위해 수집되는 데이터의 양은 예를 들어 44.1k가 일반적입니다(44.1k 샘플링 포인트가 1초에 수집됨). 압축을 위한 데이터 1프레임은 몇 개의 샘플링 포인트를 사용하는가? 20밀리초 이상 데이터는 다음과 같이 압축됩니다.
나중에 pcm에 대해 이야기할 때 데이터의 프레임을 만들기 위해 몇 개의 샘플링 포인트가 더 합리적인지 말할 것이므로 일단 이해하십시오.
오디오 처리:
때로는 음성 변경 등과 같은 일부 작업이 사운드에서 수행됩니다.
샘플 프레임 대기열:
이미지 프레임 큐와 유사하며 데이터를 큐에 먼저 넣고 인코딩 스레드가 큐에서 데이터를 읽어 압축할 때까지 기다립니다.
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
멀티플렉서:
우리의 오디오 및 비디오 데이터가 파일에 기록될 때 특정 규칙에 따라 기록되므로 재생할 때 반대 규칙에 따라 구문 분석되어 오디오 및 비디오 데이터를 추출하고 재생할 수 있습니다.
MP4와 같은 소위 규칙, avi와 같은 미디어 파일의 형식은 규칙입니다.
시계:
우리가 플레이할 때 오디오와 비디오가 동기화되어야 합니다.시계 정보 기록이 없으면 때때로 우리가 일부 작업(예: 드래그 앤 플레이)을 수행한 후 사진과 오디오가 동기화되지 않습니다.비디오가 재생 중입니다. 1초의 데이터, 오디오는 10초의 데이터를 재생하므로 녹음할 때 이 클럭을 추가해야 합니다. ( 녹화 시 오디오와 비디오는 모두 동일한 시계를 사용합니다 .) 수집된 데이터의 각 프레임에는 해당 타임 스탬프 가 찍힙니다 .