記事ディレクトリ
私が最初にオーディオとビデオの分野に入ったとき、私は常にオーディオとビデオの分野のいくつかの概念についてほとんど知りませんでした。以下は、私が学んだことと私自身の理解をまとめたものです。
。
私が最初にオーディオとビデオの分野に触れたとき、彼らのほとんどはおそらく私のような全体的なプロセスについてあまり知らなかったでしょう。オーディオとビデオのフィールドが細分化されている場合は、次のような多くのブランチに分割することもできます。組み込みデバイスのアプリケーション（たとえば、デバイスにはビデオとオーディオを記録する必要があるカメラとマイクがあります）、アプリケーションクライアントプログラムの開発（例：QQグループのQQ 1V1通話とビデオ、QQグループのnVn通話とビデオ、画面共有など）、および特定のサウンド、特定の手、および特定の宝物）、ソフトウェアのスクリーンショット、画面の記録、マイクの記録など、すべてがオーディオとビデオの分野に関連する技術に浸透しています。
。
。
組み込み機器でのオーディオとビデオのアプリケーションは、ビデオ録画、ライブブロードキャストなどにすぎません。ビデオの場合、ビデオのソースはカメラ、入力信号ソース、または画面からのものである可能性があります。オーディオソースは、マイクなどのデバイスから供給される場合があります。
。
私の現在の会社が取り組んでいるプロジェクトは次のようになります。
- デバイスでサポートされるオーディオ：内蔵および外部マイク、SDIおよびHDMIに埋め込まれたオーディオもサポートされ、ミュートもサポートされます。
- デバイスでサポートされているビデオソース：HDMIインターフェイス、SDIインターフェイス、VGA、CVBS、その他のインターフェイスがあり、これらのインターフェイスはカメラ、またはその他のビデオソース（コンピューターホストのHDMI出力インターフェイスなどのXiaomiボックスなど）に接続できます。等。）。
この機能は、これらのビデオソースとオーディオソースを記録することであり、ピクチャーインピクチャーなどの機能もサポートします。
。
。
0 Acoustics AcademyのDarren氏の写真を紹介します：
すばらしいです。学習者が理解するのに非常に便利なので、ここに貼り付けるだけです。
1.ビデオを録画する
オーディオまたはビデオを記録する必要があるかどうかにかかわらず、ソース（オーディオソースとビデオソース）が必要です。私たちのビデオソースはカメラです。
。
- step0：カメラを準備します。
含む
- ステップ1：カメラからビデオデータを収集します;（画像フレーム）
- この場所で設計された知識ポイントとテクノロジーは非常にたくさんあります。たとえば、収集される生データ形式のタイプ、YUVかRGBか、YUVとRGBの細分化（YUV 4：4：4、YUV 4を含む）などです。 ：2：2. YUV 4：2：0など。RGBサブディビジョンには、RGB565、RGB555、RGB24、RGB32、ARGB32およびその他のフォーマットも含まれます。
- 1フレームは1枚の画像と見なすことができます。
- 次に、1秒間に収集できるフレーム数（つまり、1秒間に収集される画像の数）は、次のように設計されます。
帧率
- ステップ2：画像処理段階。
データを収集した後、収集したデータを処理できます。
例：露出、色度、温度、色収差など。この段階で行うことができます。
- ステップ3：画像フレームキューに一時的に保存します。
処理された画像フレームは一時的に画像フレームキューに保存され、ビデオエンコーダーがデータをエンコードするのを待ちます。
なぜ最初に画像キューに保存する必要があるのでしょうか。
私たちの機器（コンピュータ、開発版など）は処理能力があまりないので、群がると冷たくなるので先に保管し、ビデオ符号化段階を処理しながら処理します。データ。
- ステップ4：ビデオエンコーディング段階。
画像フレームキューにデータがある場合、ビデオエンコーダーがそれを処理します。
エンコードを行わないと、ビデオのボリュームが非常に大きくなり、この段階では圧縮とも呼ばれる多くのテクノロジーがあります。
たとえば、一般的なもの：H.264、H.265、およびその他の圧縮技術。ビデオコーディングアルゴリズムとも呼ばれます。
1920 * 1080ビデオのすべてのフレームを3分46秒間、画像に変換するテストを行いました。
ビデオはH.264でエンコードされていることがわかります。このビデオの各フレームを画像に変換すると、6788枚の画像に変換されます。
次のように簡単に計算することもでき
ます。1。合計3分46秒;
2。30フレーム/秒;
3分46秒は226秒に相当します;
226秒*30フレーム=6780フレーム。
1枚の画像が1Mの場合、7G近くになり、1枚の画像を1Mにすることはできません。画像のサイズは、色の鮮やかさによって決まります。
ご覧のとおり、私のものは12GBです。ご
想像のとおり、4分間のビデオは12GBです。
圧縮しない場合、コンピューターに何個保存できますか、何個保存できますか？
- したがって、この段階は主にビデオフレームを圧縮することです。
- 次に、圧縮されたデータをビデオパケットキューに入れます。
- ステップ5：圧縮されたデータをビデオパケットキューに一時的に保存します。
- ステップ6：マルチプレクサはオーディオとビデオのカプセル化を実行します（例：mp4にカプセル化など）。
- step7：ファイルに書き込みます。
2.音声を録音する
全体の手順は、ビデオをキャプチャする手順と似ています。
マイクやその他のデバイスから収集されたオーディオデータは、PCMデータと呼ばれることがよくあります。
3.オーディオとビデオの同期
オーディオとビデオの同期はより困難です。
。
データを収集するときに、各フレームにタイムスタンプを追加できます。マルチプレクサがオーディオとビデオをカプセル化すると、時間に応じて処理できるため、オーディオとビデオのデータを同期できます。
。
。
。