Android オーディオおよびビデオ開発コアのナレッジポイントノートの統合

Android のオーディオとビデオの開発の概念は多くの開発者が知っていますが、オーディオとビデオの開発には、画像、音声、ビデオに関する基礎的な知識だけでなく、収集、レンダリング、加工、送信方法などの一連の開発と応用が必要です。したがって、オーディオとビデオの開発は、多くのコンテンツが関与する分野です。

5G の普及により、市場におけるオーディオおよびビデオの人材に対する現在の需要が明確に認識され、市場におけるオーディオおよびビデオのポジションの給与も上昇していますが、Android オーディオに関する体系的なチュートリアルや書籍は実際にはありません。オンラインブログの記事も比較的断片的です。この知識は、少しずつ学習して蓄積することでしか蓄積されません。

ここでは、関連する「オーディオおよびビデオ開発のコア知識ポイントに関するメモ」を含む一連の学習ルートをすべての人に推奨します。これはあなたに何らかの助けになると思います。必要な友人がいつでもダウンロードして抜け漏れがないか確認することもできます。。

オーディオとビデオの基本的な紹介

オーディオとビデオの主な入門は、主に Android マルチメディアディスプレイに関連する API に触れることです。これらの API を個別に列挙して使用することで、Android のオーディオとビデオ処理の基本的な概要がわかります。知識点は比較的分散していますが、点が線になり、線が面になり、基礎の基礎が身につく Android オーディオとビデオのコア API を学習することで、オーディオとビデオの処理が直列に接続され、オーディオとビデオの理解と制御が容易になります最も外側の API に限定されますが、通過することができます。Android オーディオおよびビデオ開発の理解を深めるための比較的低レベルの方法です。

Android オーディオとビデオの開発 (1): 3 つの方法で絵を描く
Android オーディオおよびビデオ開発 (2): AudioRecord を使用してオーディオ PCM をキャプチャし、ファイルに保存する
Android オーディオとビデオの開発 (3): AudioTrack を使用して PCM オーディオを再生する
Android オーディオとビデオの開発 (4): Camera API を使用してビデオデータを収集する
Android オーディオおよびビデオ開発 (5): MediaExtractor および MediaMuxer API を使用して mp4 ファイルを解析およびカプセル化する
Androidオーディオ・ビデオ開発(6)：MediaCodec APIの詳細解説
Android オーディオとビデオの開発 (7): オーディオとビデオの記録プロセスの概要
……

記事の長さに制限があるため、学習ドキュメントのすべての内容を 1 つずつ表示することはできません。参照する必要がある場合は、https: //qr18.cn/Ei3VPDにアクセスしてください。

オーディオとビデオ中上級: OpenSL ES 学習

Android プラットフォームの OpenSL ES API を学び、OpenSL 開発の基本プロセスを理解し、OpenSL を使用して PCM データを再生し、関連する API の簡単な使用法を理解します。

Android OpenSL ES 開発: Android OpenSL の導入と開発プロセスの説明
Android OpenSL ES 開発: OpenSL を使用して PCM データを再生する
Android OpenSL ES 開発: Android OpenSL レコーディング PCM オーディオデータ
Android OpenSL ES 開発: OpenSL ES は SoundTouch を使用して PCM オーディオの速度変更とピッチ変更を実現します

この部分は主に実践的な練習です。実践的な経験を積むために、次の目標を自分で設定してみてください。

OpenGLを使用して画像を表示する
GLSurfaceviwはカメラプレビュー画面を描画して写真を撮ります
OpenGL ESを使用してビデオ録画を完了し、ビデオ透かし効果を実現します

Android OpenGL ES 開発 (1): OpenGL ES の概要
Android OpenGL ES開発(2)：OpenGL ES環境構築
Android OpenGL ES 開発 (3): OpenGL ES が形状を定義する
Android OpenGL ES 開発 (4): OpenGL ES 図形の描画
Android OpenGL ES 開発 (5): OpenGL ES は投影ビューとカメラビューを使用します
Android OpenGL ES 開発 (6): OpenGL ES にモーションエフェクトを追加する
Android OpenGL ES 開発 (7): OpenGL ES はタッチイベントに応答します
Android OpenGL ES開発(8): OpenGL ESシェーダ言語GLSL
Android OpenGL ES 開発 (9): OpenGL ES テクスチャマッピング
Android OpenGL ES 開発 (10): GLES20 を介したシェーダーとの対話
……

オーディオとビデオの高度な探求

H.264、AAC などのオーディオおよびビデオのコーディング、および x.264、JM などのオープンソースコーデックライブラリの使用についての詳細な研究。
rtmp、hls などのオーディオおよびビデオ関連のネットワークプロトコルと、flv、mp4 などのパケット形式の詳細な研究
webrtc、ffmpeg、ijkplayer、librtmp など、オーディオおよびビデオの分野におけるいくつかのオープンソースプロジェクトの詳細な調査。
ffmpeg ライブラリを Android プラットフォームに移植し、これまでに蓄積した経験を組み合わせて、シンプルなオーディオおよびビデオプレーヤーを作成します。
x264ライブラリをAndroidプラットフォームに移植し、これまでに蓄積した経験を組み合わせてビデオデータH264ソフト編集機能を完成させます
librtmp ライブラリを Android プラットフォームに移植し、これまでに蓄積した経験を組み合わせて Android RTMP ストリーミング機能を完成させます