この一連の投稿を使用して、私の個人的なオーディオとビデオの学習と成長のプロセスを記録したいと思います。
オーディオおよびビデオ記録の原則フレームワーク:
カメラ：
カメラによって収集されたデータはrgb/yuvで表すことができます 。rgb は理解しやすい、つまり赤、緑、青の三原色です。yuv については後で説明します。
画像フレーム:
収集された画像フレームは、たとえば 1 秒あたり 25 フレームの場合、25 フレームです。
画像処理：
このモジュールは何に使用されますか? たとえば、画像が暗い場合は、画像を少し明るくして、このモジュールで操作できます。
画像フレームキュー:
つまり、収集したデータは最初にイメージ フレーム キューに入れられ、エンコード用のデータがエンコード スレッドによってフェッチされるのを待ちます。
ビデオエンコーディング:
なぜビデオエンコードを行うのでしょうか? ビデオのエンコードを行わない場合、このビデオの容量は非常に大きくなるからです。たとえば、1k の写真をダウンロードする場合、3mb あるかもしれませんが、ビデオ ファイルには多くの写真が含まれており、ビデオは圧縮されていないと多くのスペースを消費するため、このモジュールが必要です。圧縮されたデータを特定の形式に従ってファイルに書き込みます。
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
マイクロフォン：
マイクによって収集されたデータは PCM で表現されます
サンプルフレーム:
いわゆるサンプリング フレームは、N 個のサンプリング ポイントを使用してオーディオ データを 1 つのフレームに圧縮することです (理解できない場合は、ビデオ ファイルに置き換えることができます。たとえば、通常の 1k ビデオを録画する場合は、画像データのフレームに融合するには 1920*1080 ピクセル);
エンコード圧縮のためにどのくらいのデータが収集されるかについては、たとえば 44.1k (1 秒間に 44.1k のサンプリング ポイントが収集される) が一般的です。1フレームのデータは何サンプリングポイントで圧縮されますか? 1フレームは1秒分のデータを圧縮できますが、遅延が比較的大きいので分割して圧縮することができます。 20 ミリ秒以上 データは次のように圧縮されます。
後で pcm について話すときに、データのフレームを作成するのにどのくらいのサンプリング ポイントがより合理的であるかについて説明しますが、とりあえず理解してください。
音声処理:
場合によっては、音声の変更など、サウンドに対して何らかの操作が行われることがあります。
サンプルフレームキュー:
これはイメージ フレーム キューに似ており、最初にデータをキューに入れ、エンコード スレッドがキューからデータを読み取って圧縮するのを待ちます。
-------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -------------------------------------------------- -----
マルチプレクサ:
オーディオ データとビデオ データがファイルに書き込まれるときは、特定のルールに従って書き込まれるため、再生時には逆のルールに従って解析され、オーディオ データとビデオ データを抽出して再生できます。
MP4 などのいわゆるルール、avi などのメディア ファイルの形式はルールです。
時計：
再生するときは、オーディオとビデオを同期する必要があります。クロック情報の記録がない場合、ドラッグや再生などの操作を行った後、画像とオーディオが同期しなくなります。ビデオは再生されています。最初の 1 秒のデータが再生され、オーディオは 10 秒目のデータを再生しているため、録音時にこのクロックを追加する必要があります。(録音時にはオーディオとビデオの両方が同じクロックを使用します)、収集されたデータの各フレームには対応するタイムスタンプがスタンプされます。