1. FFmpeg 오디오 및 비디오 디코딩
패키지 형식
mp4, mkv, rmvb, flv 등과 같이 우리가 자주 언급하는 비디오 형식은 오디오 및 비디오 패키징 형식을 의미하며, 패키징 형식은 본질적으로 오디오 데이터, 비디오 데이터 및 자막 데이터를 하나의 파일로 패키징하기 위한 사양입니다. . 기술적인 관점에서 볼 때 우수한 오디오 및 비디오 패키징 형식은 대부분의 오디오 및 비디오 코딩 표준을 지원해야 합니다.
주요 포장 형식:
인코딩 형식
인코딩의 목적은 압축 알고리즘을 통해 데이터의 양을 줄이고 데이터 저장 및 전송의 효율성을 높이는 것입니다. 비디오 인코딩은 비디오 픽셀 데이터(RGB, YUV 등)를 비디오 코드 스트림으로 압축하는 것입니다. 오디오 인코딩은 오디오 샘플 데이터(PCM 등)를 오디오 스트림으로 압축하는 것입니다.
주요 비디오 인코딩 형식:
주요 오디오 인코딩 형식:
오디오 및 비디오 디코딩 프로세스
- 압축을 푼 형식입니다. 특정 형식으로 캡슐화된 입력 오디오 및 비디오 데이터를 오디오 스트림 압축 코딩 데이터와 비디오 스트림 압축 코딩 데이터로 분리합니다.
- 디코딩. 압축된 비디오 및 오디오 데이터를 압축되지 않은 비디오 및 오디오 원시 데이터로 디코딩합니다. 비디오 압축 데이터는 디코딩되어 YUV420P, RGB 등과 같은 픽셀 데이터로 출력되며, 오디오 압축 데이터는 디코딩되어 PCM 데이터와 같은 비압축 오디오 샘플링 데이터로 출력됩니다.
- 오디오 및 비디오 동기화. 디코딩된 비디오 및 오디오 데이터를 동기화하고 재생 및 표시를 위해 오디오 및 비디오 데이터를 시스템의 사운드 카드와 그래픽 카드로 보냅니다.
FFmpeg 라이브러리
FFmpeg에는 일반적으로 8개의 함수 라이브러리가 있으며, 각 함수 라이브러리의 기능은 다음과 같습니다.
FFmpeg 오디오 및 비디오 디코딩
FFmpeg 오디오 및 비디오 디코딩 주요 프로세스 코드 설명:
1\. av_register_all() //注册组件
2\. avformat_alloc_context //获取封装格式上下文
3\. avformat_find_stream_info //获取输入文件信息
4\. avcodec_find_decoder //获取解码器
5\. avcodec_open2 //打开解码器
6\. avcodec_decode_video2 或 avcodec_decode_audio4 //解码音视频帧
AS 프로젝트에 FFmpeg 동적 라이브러리 8개와 libyuv(비디오 픽셀 데이터 형식 변환 담당) 동적 라이브러리를 도입합니다.
프로젝트의 헤더 파일 디렉터리:
프로젝트의 동적 라이브러리 디렉터리:
자바 레이어 API:
package com.haohao.ffmpeg;
import android.media.AudioFormat;
import android.media.AudioManager;
import android.media.AudioTrack;
import android.util.Log;
import android.view.Surface;
/**
* author: haohao
* time: 2017/12/19
* mail: [email protected]
* desc: AVUtils
*/
public class AVUtils {
private static final String TAG = "AVUtils";
private static AVCallback AVCallback;
private static AVCallback sAVCallback;
public static void registerCallback(AVCallback callback) {
sAVCallback = callback;
}
static {
System.loadLibrary("avfilter-5");
System.loadLibrary("avdevice-56");
System.loadLibrary("yuv");
System.loadLibrary("avutil-54");
System.loadLibrary("swresample-1");
System.loadLibrary("avcodec-56");
System.loadLibrary("avformat-56");
System.loadLibrary("swscale-3");
System.loadLibrary("postproc-53");
System.loadLibrary("native-lib");
}
/**
* 解码视频中的视频压缩数据
* @param input_file_path 输入的视频文件路径
* @param output_file_path 视频压缩数据解码后输出的 YUV 文件路径
*/
public static native void videoDecode(String input_file_path, String output_file_path);
/**
* 显示视频视频解码后像素数据
* @param input 输入的视频文件路径
* @param surface 用于显示视频视频解码后的 RGBA 像素数据
*/
public static native void videoRender(String input, Surface surface);
/**
* 解码视频中的音频压缩数据
* @param input 输入的视频文件路径
* @param output 音频压缩数据解码后输出的 PCM 文件路径
*/
public static native void audioDecode(String input, String output);
/**
* 播放视频中的音频数据
* @param input 输入的视频文件路径
*/
public static native void audioPlay(String input);
/**
* 创建一个 AudioTrack 对象，用于播放音频,在 Native 层中调用。
*/
public static AudioTrack createAudioTrack(int sampleRate, int num_channel) {
int audioFormat = AudioFormat.ENCODING_PCM_16BIT;
Log.i(TAG, "声道数:" + num_channel);
int channelConfig;
if (num_channel == 1) {
channelConfig = android.media.AudioFormat.CHANNEL_OUT_MONO;
} else if (num_channel == 2) {
channelConfig = android.media.AudioFormat.CHANNEL_OUT_STEREO;
} else {
channelConfig = android.media.AudioFormat.CHANNEL_OUT_STEREO;
}
int bufferSize = AudioTrack.getMinBufferSize(sampleRate, channelConfig, audioFormat);
AudioTrack audioTrack = new AudioTrack(
AudioManager.STREAM_MUSIC,
sampleRate, channelConfig,
audioFormat,
bufferSize, AudioTrack.MODE_STREAM);
return audioTrack;
}
public interface AVCallback {
void onFinish();
}
}
MySurfaceView.java
/**
* author: haohao
* time: 2017/12/20
* mail: [email protected]
* desc: MySurfaceView
*/
public class MySurfaceView extends SurfaceView {
public MySurfaceView(Context context) {
super(context);
}
public MySurfaceView(Context context, AttributeSet attrs) {
super(context, attrs);
}
public MySurfaceView(Context context, AttributeSet attrs, int defStyleAttr) {
super(context, attrs, defStyleAttr);
}
private void init(){
// 设置像素绘制格式为 RGBA_8888
SurfaceHolder holder = getHolder();
holder.setFormat(PixelFormat.RGBA_8888);
}
}
활동_main.xml
<?xml version="1.0" encoding="utf-8"?>
<FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent">
<com.haohao.ffmpeg.MySurfaceView
android:id="@+id/my_surface_view"
android:layout_width="match_parent"
android:layout_height="match_parent" />
<LinearLayout
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:orientation="vertical">
<LinearLayout
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:alpha="0.7"
android:orientation="horizontal">
<Button
android:id="@+id/video_decode_btn"
android:layout_width="0dp"
android:layout_weight="1"
android:layout_height="wrap_content"
android:text="视频解码" />
<Button
android:id="@+id/video_render_btn"
android:layout_width="0dp"
android:layout_weight="1"
android:layout_height="wrap_content"
android:text="视频渲染" />
</LinearLayout>
<LinearLayout
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:alpha="0.7"
android:orientation="horizontal">
<Button
android:id="@+id/audio_decode_btn"
android:layout_width="0dp"
android:layout_weight="1"
android:layout_height="wrap_content"
android:text="音频解码" />
<Button
android:id="@+id/audio_play_btn"
android:layout_width="0dp"
android:layout_weight="1"
android:layout_height="wrap_content"
android:text="音频播放" />
</LinearLayout>
</LinearLayout>
</FrameLayout>
MainActivity.java
public class MainActivity extends AppCompatActivity implements View.OnClickListener, AVUtils.AVCallback {
private static final String TAG = "MainActivity";
private static final String BASE_PATH = Environment.getExternalStorageDirectory().getAbsolutePath() + File.separatorChar;
private String input_video_file_path = BASE_PATH
+ "input.mp4";
private String output_video_file_path = BASE_PATH
+ "output.yuv";
private String input_audio_file_path = BASE_PATH
+ "hello.mp3";
private String output_audio_file_path = BASE_PATH
+ "hello.pcm";
private String video_src = BASE_PATH
+ "ffmpeg.mp4";
private Button mDecodeVideoBtn;
private Button mVideoRenderBtn;
private Button mAudioPlayBtn, mAudioDecodeBtn;
private ProgressDialog mProgressDialog;
private ExecutorService mExecutorService;
private MySurfaceView mySurfaceView;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
requestPermissions(new String[]{Manifest.permission.READ_EXTERNAL_STORAGE, Manifest.permission.WRITE_EXTERNAL_STORAGE, Manifest.permission.MOUNT_UNMOUNT_FILESYSTEMS}, 0);
}
mDecodeVideoBtn = (Button)findViewById(R.id.video_decode_btn);
mVideoRenderBtn = (Button)findViewById(R.id.video_render_btn);
mAudioDecodeBtn = (Button) findViewById(R.id.audio_decode_btn);
mAudioPlayBtn = (Button)findViewById(R.id.audio_play_btn);
mySurfaceView = (MySurfaceView) findViewById(R.id.my_surface_view);
mDecodeVideoBtn.setOnClickListener(this);
mVideoRenderBtn.setOnClickListener(this);
mAudioDecodeBtn.setOnClickListener(this);
mAudioPlayBtn.setOnClickListener(this);
AVUtils.registerCallback(this);
mProgressDialog = new ProgressDialog(this);
mProgressDialog.setCanceledOnTouchOutside(false);
mExecutorService = Executors.newFixedThreadPool(2);
}
@Override
public void onClick(View view) {
int id = view.getId();
switch (id) {
case R.id.video_decode_btn:
mProgressDialog.setMessage("正在解码...");
mProgressDialog.show();
mExecutorService.submit(new Runnable() {
@Override
public void run() {
AVUtils.videoDecode(input_video_file_path, output_video_file_path);
}
});
break;
case R.id.video_render_btn:
mExecutorService.submit(new Runnable() {
@Override
public void run() {
AVUtils.videoRender(input_video_file_path, mySurfaceView.getHolder().getSurface());
}
});
break;
case R.id.audio_decode_btn:
mProgressDialog.setMessage("正在解码...");
mProgressDialog.show();
mExecutorService.submit(new Runnable() {
@Override
public void run() {
AVUtils.audioDecode(input_audio_file_path, output_audio_file_path);
}
});
break;
case R.id.audio_play_btn:
mExecutorService.submit(new Runnable() {
@Override
public void run() {
AVUtils.audioPlay(input_video_file_path);
}
});
break;
}
}
@Override
public void onFinish() {
runOnUiThread(new Runnable() {
@Override
public void run() {
if (mProgressDialog.isShowing()) {
mProgressDialog.dismiss();
}
Toast.makeText(MainActivity.this, "解码完成", Toast.LENGTH_SHORT).show();
}
});
}
@Override
protected void onDestroy() {
super.onDestroy();
mExecutorService.shutdown();
}
}
Nativelib.c
#include <jni.h>
#include <string.h>
#include <android/log.h>
#include <stdio.h>
#include <libavutil/time.h>
//编码
#include "include/libavcodec/avcodec.h"
//封装格式处理
#include "include/libavformat/avformat.h"
//像素处理
#include "include/libswscale/swscale.h"
#define LOGI(FORMAT, ...) __android_log_print(ANDROID_LOG_INFO,"haohao",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT, ...) __android_log_print(ANDROID_LOG_ERROR,"haohao",FORMAT,##__VA_ARGS__);
//中文字符串转换
jstring charsToUTF8String(JNIEnv *env, char *s) {
jclass string_cls = (*env)->FindClass(env, "java/lang/String");
jmethodID mid = (*env)->GetMethodID(env, string_cls, "<init>", "([BLjava/lang/String;)V");
jbyteArray jb_arr = (*env)->NewByteArray(env, strlen(s));
(*env)->SetByteArrayRegion(env, jb_arr, 0, strlen(s), s);
jstring charset = (*env)->NewStringUTF(env, "UTF-8");
return (*env)->NewObject(env, string_cls, mid, jb_arr, charset);
}
JNIEXPORT void JNICALL
Java_com_haohao_ffmpeg_AVUtils_videoDecode(JNIEnv *env, jclass type, jstring input_,
jstring output_) {
//访问静态方法
jmethodID mid = (*env)->GetStaticMethodID(env, type, "onNativeCallback", "()V");
//需要转码的视频文件(输入的视频文件)
const char *input = (*env)->GetStringUTFChars(env, input_, 0);
const char *output = (*env)->GetStringUTFChars(env, output_, 0);
//注册所有组件
av_register_all();
//封装格式上下文，统领全局的结构体，保存了视频文件封装格式的相关信息
AVFormatContext *pFormatCtx = avformat_alloc_context();
//打开输入视频文件
if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {
LOGE("%s", "无法打开输入视频文件");
return;
}
//获取视频文件信息，例如得到视频的宽高
if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
LOGE("%s", "无法获取视频文件信息");
return;
}
//获取视频流的索引位置
//遍历所有类型的流（音频流、视频流、字幕流），找到视频流
int v_stream_idx = -1;
int i = 0;
for (; i < pFormatCtx->nb_streams; i++) {
//判断视频流
if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
v_stream_idx = i;
break;
}
}
if (v_stream_idx == -1) {
LOGE("%s", "找不到视频流\n");
return;
}
//根据视频的编码方式，获取对应的解码器
AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;
//根据编解码上下文中的编码 id 查找对应的解码器
AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if (pCodec == NULL) {
LOGE("%s", "找不到解码器，或者视频已加密\n");
return;
}
//打开解码器，解码器有问题（比如说我们编译FFmpeg的时候没有编译对应类型的解码器）
if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
LOGE("%s", "解码器无法打开\n");
return;
}
//输出视频信息
LOGI("视频的文件格式：%s", pFormatCtx->iformat->name);
LOGI("视频时长：%lld", (pFormatCtx->duration) / (1000 * 1000));
LOGI("视频的宽高：%d,%d", pCodecCtx->width, pCodecCtx->height);
LOGI("解码器的名称：%s", pCodec->name);
//准备读取
//AVPacket用于存储一帧一帧的压缩数据（H264）
//缓冲区，开辟空间
AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));
//AVFrame用于存储解码后的像素数据(YUV)
//内存分配
AVFrame *pFrame = av_frame_alloc();
//YUV420
AVFrame *pFrameYUV = av_frame_alloc();
//只有指定了AVFrame的像素格式、画面大小才能真正分配内存
//缓冲区分配内存
uint8_t *out_buffer = (uint8_t *) av_malloc(
avpicture_get_size(AV_PIX_FMT_YUV420P, pCodecCtx->width, pCodecCtx->height));
//初始化缓冲区
avpicture_fill((AVPicture *) pFrameYUV, out_buffer, AV_PIX_FMT_YUV420P, pCodecCtx->width,
pCodecCtx->height);
//用于转码（缩放）的参数，转之前的宽高，转之后的宽高，格式等
struct SwsContext *sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height,
pCodecCtx->pix_fmt,
pCodecCtx->width, pCodecCtx->height,
AV_PIX_FMT_YUV420P,
SWS_BICUBIC, NULL, NULL, NULL);
int got_picture, ret;
//输出文件
FILE *fp_yuv = fopen(output, "wb+");
int frame_count = 0;
//一帧一帧的读取压缩数据
while (av_read_frame(pFormatCtx, packet) >= 0) {
//只要视频压缩数据（根据流的索引位置判断）
if (packet->stream_index == v_stream_idx) {
//解码一帧视频压缩数据，得到视频像素数据
ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet);
if (ret < 0) {
LOGE("%s", "解码错误");
return;
}
//为 0 说明解码完成，非0正在解码
if (got_picture) {
//AVFrame转为像素格式YUV420，宽高
//2 6输入、输出数据
//3 7输入、输出画面一行的数据的大小 AVFrame 转换是一行一行转换的
//4 输入数据第一列要转码的位置 从0开始
//5 输入画面的高度
sws_scale(sws_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
pFrameYUV->data, pFrameYUV->linesize);
//输出到YUV文件
//AVFrame像素帧写入文件
//data解码后的图像像素数据（音频采样数据）
//Y 亮度 UV 色度（压缩了） 人对亮度更加敏感
//U V 个数是Y的1/4
int y_size = pCodecCtx->width * pCodecCtx->height;
fwrite(pFrameYUV->data[0], 1, y_size, fp_yuv);
fwrite(pFrameYUV->data[1], 1, y_size / 4, fp_yuv);
fwrite(pFrameYUV->data[2], 1, y_size / 4, fp_yuv);
frame_count++;
LOGI("解码第%d帧", frame_count);
}
}
//释放资源
av_free_packet(packet);
}
fclose(fp_yuv);
av_frame_free(&pFrame);
avcodec_close(pCodecCtx);
avformat_free_context(pFormatCtx);
(*env)->ReleaseStringUTFChars(env, input_, input);
(*env)->ReleaseStringUTFChars(env, output_, output);
//通知 Java 层解码完毕
(*env)->CallStaticVoidMethod(env, type, mid);
}
//使用这两个 Window 相关的头文件需要在 CMake 脚本中引入 android 库
#include <android/native_window_jni.h>
#include <android/native_window.h>
#include "include/yuv/libyuv.h"
JNIEXPORT void JNICALL
Java_com_haohao_ffmpeg_AVUtils_videoRender(JNIEnv *env, jclass type, jstring input_,
jobject surface) {
//需要转码的视频文件(输入的视频文件)
const char *input = (*env)->GetStringUTFChars(env, input_, 0);
//注册所有组件
av_register_all();
//avcodec_register_all();
//封装格式上下文，统领全局的结构体，保存了视频文件封装格式的相关信息
AVFormatContext *pFormatCtx = avformat_alloc_context();
//打开输入视频文件
if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {
LOGE("%s", "无法打开输入视频文件");
return;
}
//获取视频文件信息，例如得到视频的宽高
//第二个参数是一个字典，表示你需要获取什么信息，比如视频的元数据
if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
LOGE("%s", "无法获取视频文件信息");
return;
}
//获取视频流的索引位置
//遍历所有类型的流（音频流、视频流、字幕流），找到视频流
int v_stream_idx = -1;
int i = 0;
//number of streams
for (; i < pFormatCtx->nb_streams; i++) {
//流的类型
if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
v_stream_idx = i;
break;
}
}
if (v_stream_idx == -1) {
LOGE("%s", "找不到视频流\n");
return;
}
//获取视频流中的编解码上下文
AVCodecContext *pCodecCtx = pFormatCtx->streams[v_stream_idx]->codec;
//根据编解码上下文中的编码 id 查找对应的解码器
AVCodec *pCodec = avcodec_find_decoder(pCodecCtx->codec_id);
if (pCodec == NULL) {
LOGE("%s", "找不到解码器，或者视频已加密\n");
return;
}
//打开解码器，解码器有问题（比如说我们编译FFmpeg的时候没有编译对应类型的解码器）
if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) {
LOGE("%s", "解码器无法打开\n");
return;
}
//准备读取
//AVPacket用于存储一帧一帧的压缩数据（H264）
//缓冲区，开辟空间
AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));
//AVFrame用于存储解码后的像素数据(YUV)
//内存分配
AVFrame *yuv_frame = av_frame_alloc();
AVFrame *rgb_frame = av_frame_alloc();
int got_picture, ret;
int frame_count = 0;
//窗体
ANativeWindow *pWindow = ANativeWindow_fromSurface(env, surface);
//绘制时的缓冲区
ANativeWindow_Buffer out_buffer;
//一帧一帧的读取压缩数据
while (av_read_frame(pFormatCtx, packet) >= 0) {
//只要视频压缩数据（根据流的索引位置判断）
if (packet->stream_index == v_stream_idx) {
//7.解码一帧视频压缩数据，得到视频像素数据
ret = avcodec_decode_video2(pCodecCtx, yuv_frame, &got_picture, packet);
if (ret < 0) {
LOGE("%s", "解码错误");
return;
}
//为0说明解码完成，非0正在解码
if (got_picture) {
//lock window
//设置缓冲区的属性：宽高、像素格式（需要与Java层的格式一致）
ANativeWindow_setBuffersGeometry(pWindow, pCodecCtx->width, pCodecCtx->height,
WINDOW_FORMAT_RGBA_8888);
ANativeWindow_lock(pWindow, &out_buffer, NULL);
//初始化缓冲区
//设置属性，像素格式、宽高
//rgb_frame的缓冲区就是Window的缓冲区，同一个，解锁的时候就会进行绘制
avpicture_fill((AVPicture *) rgb_frame, out_buffer.bits, AV_PIX_FMT_RGBA,
pCodecCtx->width,
pCodecCtx->height);
//YUV格式的数据转换成RGBA 8888格式的数据, FFmpeg 也可以转换，但是存在问题，使用libyuv这个库实现
I420ToARGB(yuv_frame->data[0], yuv_frame->linesize[0],
yuv_frame->data[2], yuv_frame->linesize[2],
yuv_frame->data[1], yuv_frame->linesize[1],
rgb_frame->data[0], rgb_frame->linesize[0],
pCodecCtx->width, pCodecCtx->height);
//3、unlock window
ANativeWindow_unlockAndPost(pWindow);
frame_count++;
LOGI("解码绘制第%d帧", frame_count);
}
}
//释放资源
av_free_packet(packet);
}
av_frame_free(&yuv_frame);
avcodec_close(pCodecCtx);
avformat_free_context(pFormatCtx);
(*env)->ReleaseStringUTFChars(env, input_, input);
}
#include "libswresample/swresample.h"
#define MAX_AUDIO_FRME_SIZE 48000 * 4
//音频解码（重采样）
JNIEXPORT void JNICALL
Java_com_haohao_ffmpeg_AVUtils_audioDecode(JNIEnv *env, jclass type, jstring input_,
jstring output_) {
//访问静态方法
jmethodID mid = (*env)->GetStaticMethodID(env, type, "onNativeCallback", "()V");
const char *input = (*env)->GetStringUTFChars(env, input_, 0);
const char *output = (*env)->GetStringUTFChars(env, output_, 0);
//注册组件
av_register_all();
AVFormatContext *pFormatCtx = avformat_alloc_context();
//打开音频文件
if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {
LOGI("%s", "无法打开音频文件");
return;
}
//获取输入文件信息
if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
LOGI("%s", "无法获取输入文件信息");
return;
}
//获取音频流索引位置
int i = 0, audio_stream_idx = -1;
for (; i < pFormatCtx->nb_streams; i++) {
if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
audio_stream_idx = i;
break;
}
}
//获取解码器
AVCodecContext *codecCtx = pFormatCtx->streams[audio_stream_idx]->codec;
AVCodec *codec = avcodec_find_decoder(codecCtx->codec_id);
if (codec == NULL) {
LOGI("%s", "无法获取解码器");
return;
}
//打开解码器
if (avcodec_open2(codecCtx, codec, NULL) < 0) {
LOGI("%s", "无法打开解码器");
return;
}
//压缩数据
AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));
//解压缩数据
AVFrame *frame = av_frame_alloc();
//frame->16bit 44100 PCM 统一音频采样格式与采样率
SwrContext *swrCtx = swr_alloc();
//重采样设置参数
//输入的采样格式
enum AVSampleFormat in_sample_fmt = codecCtx->sample_fmt;
//输出采样格式16bit PCM
enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;
//输入采样率
int in_sample_rate = codecCtx->sample_rate;
//输出采样率
int out_sample_rate = 44100;
//获取输入的声道布局
//根据声道个数获取默认的声道布局（2个声道，默认立体声stereo）
//av_get_default_channel_layout(codecCtx->channels);
uint64_t in_ch_layout = codecCtx->channel_layout;
//输出的声道布局（立体声）
uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO;
swr_alloc_set_opts(swrCtx,
out_ch_layout, out_sample_fmt, out_sample_rate,
in_ch_layout, in_sample_fmt, in_sample_rate,
0, NULL);
swr_init(swrCtx);
//输出的声道个数
int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);
//重采样设置参数
//位宽16bit 采样率 44100HZ 的 PCM 数据
uint8_t *out_buffer = (uint8_t *) av_malloc(MAX_AUDIO_FRME_SIZE);
FILE *fp_pcm = fopen(output, "wb");
int got_frame = 0, index = 0, ret;
//不断读取压缩数据
while (av_read_frame(pFormatCtx, packet) >= 0) {
//解码
ret = avcodec_decode_audio4(codecCtx, frame, &got_frame, packet);
if (ret < 0) {
LOGI("%s", "解码完成");
}
//解码一帧成功
if (got_frame > 0) {
LOGI("解码：%d", index++);
swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FRME_SIZE, frame->data, frame->nb_samples);
//获取sample的size
int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,
frame->nb_samples, out_sample_fmt, 1);
fwrite(out_buffer, 1, out_buffer_size, fp_pcm);
}
av_free_packet(packet);
}
fclose(fp_pcm);
av_frame_free(&frame);
av_free(out_buffer);
swr_free(&swrCtx);
avcodec_close(codecCtx);
avformat_close_input(&pFormatCtx);
(*env)->ReleaseStringUTFChars(env, input_, input);
(*env)->ReleaseStringUTFChars(env, output_, output);
//通知 Java 层解码完成
(*env)->CallStaticVoidMethod(env, type, mid);
}
JNIEXPORT void JNICALL
Java_com_haohao_ffmpeg_AVUtils_audioPlay(JNIEnv *env, jclass type, jstring input_) {
const char *input = (*env)->GetStringUTFChars(env, input_, 0);
LOGI("%s", "sound");
//注册组件
av_register_all();
AVFormatContext *pFormatCtx = avformat_alloc_context();
//打开音频文件
if (avformat_open_input(&pFormatCtx, input, NULL, NULL) != 0) {
LOGI("%s", "无法打开音频文件");
return;
}
//获取输入文件信息
if (avformat_find_stream_info(pFormatCtx, NULL) < 0) {
LOGI("%s", "无法获取输入文件信息");
return;
}
//获取音频流索引位置
int i = 0, audio_stream_idx = -1;
for (; i < pFormatCtx->nb_streams; i++) {
if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) {
audio_stream_idx = i;
break;
}
}
//获取解码器
AVCodecContext *codecCtx = pFormatCtx->streams[audio_stream_idx]->codec;
AVCodec *codec = avcodec_find_decoder(codecCtx->codec_id);
if (codec == NULL) {
LOGI("%s", "无法获取解码器");
return;
}
//打开解码器
if (avcodec_open2(codecCtx, codec, NULL) < 0) {
LOGI("%s", "无法打开解码器");
return;
}
//压缩数据
AVPacket *packet = (AVPacket *) av_malloc(sizeof(AVPacket));
//解压缩数据
AVFrame *frame = av_frame_alloc();
//frame->16bit 44100 PCM 统一音频采样格式与采样率
SwrContext *swrCtx = swr_alloc();
//输入的采样格式
enum AVSampleFormat in_sample_fmt = codecCtx->sample_fmt;
//输出采样格式16bit PCM
enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16;
//输入采样率
int in_sample_rate = codecCtx->sample_rate;
//输出采样率
int out_sample_rate = in_sample_rate;
//获取输入的声道布局
//根据声道个数获取默认的声道布局（2个声道，默认立体声stereo）
//av_get_default_channel_layout(codecCtx->channels);
uint64_t in_ch_layout = codecCtx->channel_layout;
//输出的声道布局（立体声）
uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO;
swr_alloc_set_opts(swrCtx,
out_ch_layout, out_sample_fmt, out_sample_rate,
in_ch_layout, in_sample_fmt, in_sample_rate,
0, NULL);
swr_init(swrCtx);
//输出的声道个数
int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout);
//AudioTrack对象
jmethodID create_audio_track_mid = (*env)->GetStaticMethodID(env, type, "createAudioTrack",
"(II)Landroid/media/AudioTrack;");
jobject audio_track = (*env)->CallStaticObjectMethod(env, type, create_audio_track_mid,
out_sample_rate, out_channel_nb);
//调用AudioTrack.play方法
jclass audio_track_class = (*env)->GetObjectClass(env, audio_track);
jmethodID audio_track_play_mid = (*env)->GetMethodID(env, audio_track_class, "play", "()V");
jmethodID audio_track_stop_mid = (*env)->GetMethodID(env, audio_track_class, "stop", "()V");
(*env)->CallVoidMethod(env, audio_track, audio_track_play_mid);
//AudioTrack.write
jmethodID audio_track_write_mid = (*env)->GetMethodID(env, audio_track_class, "write",
"([BII)I");
//16bit 44100 PCM 数据
uint8_t *out_buffer = (uint8_t *) av_malloc(MAX_AUDIO_FRME_SIZE);
int got_frame = 0, index = 0, ret;
//不断读取压缩数据
while (av_read_frame(pFormatCtx, packet) >= 0) {
//解码音频类型的Packet
if (packet->stream_index == audio_stream_idx) {
//解码
ret = avcodec_decode_audio4(codecCtx, frame, &got_frame, packet);
if (ret < 0) {
LOGI("%s", "解码完成");
}
//解码一帧成功
if (got_frame > 0) {
LOGI("解码：%d", index++);
swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FRME_SIZE,
(const uint8_t **) frame->data, frame->nb_samples);
//获取sample的size
int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb,
frame->nb_samples, out_sample_fmt,
1);
//out_buffer缓冲区数据，转成byte数组
jbyteArray audio_sample_array = (*env)->NewByteArray(env, out_buffer_size);
jbyte *sample_bytep = (*env)->GetByteArrayElements(env, audio_sample_array, NULL);
//out_buffer的数据复制到sampe_bytep
memcpy(sample_bytep, out_buffer, out_buffer_size);
//同步
(*env)->ReleaseByteArrayElements(env, audio_sample_array, sample_bytep, 0);
//AudioTrack.write PCM数据
(*env)->CallIntMethod(env, audio_track, audio_track_write_mid,
audio_sample_array, 0, out_buffer_size);
//释放局部引用
(*env)->DeleteLocalRef(env, audio_sample_array);
}
}
av_free_packet(packet);
}
(*env)->CallVoidMethod(env, audio_track, audio_track_stop_mid);
av_frame_free(&frame);
av_free(out_buffer);
swr_free(&swrCtx);
avcodec_close(codecCtx);
avformat_close_input(&pFormatCtx);
(*env)->ReleaseStringUTFChars(env, input_, input);
}
CMakeLists.txt
cmake_minimum_required(VERSION 3.4.1)
include_directories(${CMAKE_SOURCE_DIR}/src/main/cpp/include)
set(jnilibs "${CMAKE_SOURCE_DIR}/src/main/jniLibs")
set(CMAKE_LIBRARY_OUTPUT_DIRECTORY ${jnilibs}/${ANDROID_ABI})
add_library( # Sets the name of the library.
native-lib
# Sets the library as a shared library.
SHARED
# Provides a relative path to your source file(s).
src/main/cpp/native-lib.c)
# 添加 FFmpeg 的 8 个函数库和 yuvlib 库
add_library(avutil-54 SHARED IMPORTED )
set_target_properties(avutil-54 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libavutil-54.so")
add_library(swresample-1 SHARED IMPORTED )
set_target_properties(swresample-1 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libswresample-1.so")
add_library(avcodec-56 SHARED IMPORTED )
set_target_properties(avcodec-56 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libavcodec-56.so")
add_library(avformat-56 SHARED IMPORTED )
set_target_properties(avformat-56 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libavformat-56.so")
add_library(swscale-3 SHARED IMPORTED )
set_target_properties(swscale-3 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libswscale-3.so")
add_library(postproc-53 SHARED IMPORTED )
set_target_properties(postproc-53 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libpostproc-53.so")
add_library(avfilter-5 SHARED IMPORTED )
set_target_properties(avfilter-5 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libavfilter-5.so")
add_library(avdevice-56 SHARED IMPORTED )
set_target_properties(avdevice-56 PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libavdevice-56.so")
add_library(yuv SHARED IMPORTED )
set_target_properties(yuv PROPERTIES IMPORTED_LOCATION "${jnilibs}/${ANDROID_ABI}/libyuv.so")
find_library( # Sets the name of the path variable.
log-lib
# Specifies the name of the NDK library that
# you want CMake to locate.
log )
#找到 Android 系统 Window 绘制相关的库
find_library(
android-lib
android
)
target_link_libraries( native-lib
${log-lib}
${android-lib}
avutil-54
swresample-1
avcodec-56
avformat-56
swscale-3
postproc-53
avfilter-5
avdevice-56
yuv)
추신:
- 파일 읽기 및 쓰기 권한을 추가하는 데 주의하세요.
2. 오디오 및 비디오 동기화의 원리 및 구현
2.1 원리
단순히 오디오의 샘플링 레이트와 비디오의 프레임 레이트에 따라 재생하게 되면 기계의 구동 속도, 디코딩 효율 등 시간차를 발생시키는 다양한 요인으로 인해 동기화가 어렵고, 오디오와 비디오의 시간차가 발생하게 됩니다. 선형적인 증가를 보여줍니다. 따라서 오디오와 비디오를 동기화하는 세 가지 방법이 있습니다.
1. 외부 시계를 참조하여 오디오와 비디오를 이 시간에 동기화합니다. 이 방법을 처음 생각해봤는데 좋지 않네요.. 어떤 생물학적 원리로 인해 사람들은 소리의 변화에 더 민감하지만 시각적인 변화에는 덜 민감합니다. 따라서 사운드 재생을 자주 조정하면 거칠거나 시끄러워져 사용자 경험에 영향을 미칠 수 있습니다. (ps: 그런데 대중 과학 생물학 지식이 너무 키가 큰 것 같아요_).
2. 영상을 기준으로 영상 시간에 맞춰 오디오가 동기화됩니다. 위와 같은 이유로 채택되지 않았습니다.
3. 오디오를 기준으로 오디오 시간에 맞춰 영상을 동기화합니다. 이것이 해결책입니다.
따라서 오디오 시간을 기준으로 영상이 빠른지 느린지를 판단하여 영상의 속도를 조절하는 것이 원칙입니다. 사실 그것은 따라잡고 기다리는 역동적인 과정이다.
2.2 일부 개념
오디오와 비디오 모두 DTS와 PTS를 갖습니다.
DTS, Decoding Time Stamp, 디코딩 타임스탬프는 디코더 패킷의 디코딩 순서를 알려줍니다.
PTS(Presentation Time Stamp)는 패킷에서 디코딩된 데이터의 표시 순서를 나타내는 타임스탬프를 표시합니다.
둘은 오디오에서는 동일하지만 비디오에는 B 프레임(양방향 예측)이 존재하기 때문에 디코딩 순서와 표시 순서가 다릅니다. 즉, 비디오의 DTS와 PTS가 반드시 동일하지는 않습니다.
시간축: FFmpeg 소스 코드 참조
/**
* This is the fundamental unit of time (in seconds) in terms
* of which frame timestamps are represented. For fixed-fps content,
* timebase should be 1/framerate and timestamp increments should be
* identically 1.
* This often, but not always is the inverse of the frame rate or field rate
* for video.
* - encoding: MUST be set by user.
* - decoding: the use of this field for decoding is deprecated.
* Use framerate instead.
*/
AVRational time_base;
/**
* rational number numerator/denominator
*/
typedef struct AVRational{
int num; ///< numerator
int den; ///< denominator
} AVRational;
실제로 개인적인 이해는 ffmpeg에서 분수는 시간 단위를 나타내는 데 사용되며 num은 분자, den은 분모입니다. ffmpeg는 계산 방법을 제공합니다.
/**
* Convert rational to double.
* @param a rational to convert
* @return (double) a
*/
static inline double av_q2d(AVRational a){
return a.num / (double) a.den;
}
따라서 비디오의 특정 프레임의 표시 시간 계산 방법은 다음과 같습니다(단위가 훌륭합니다).
time = pts * av_q2d(time_base);
2.3 동기화 코드
1.
오디오 부분의 시계는 오디오의 재생 시간(처음부터 현재 시간까지)입니다.
if (packet->pts != AV_NOPTS_VALUE) {
audio->clock = av_q2d(audio->time_base) * packet->pts;
}
그런 다음 이 패킷의 데이터를 재생해야 하는 시간을 추가합니다.
double time = datalen/((double) 44100 *2 * 2);
audio->clock = audio->clock +time;
datalen은 데이터 길이입니다. 샘플링 레이트는 44100, 샘플링 비트 수는 16, 채널 수는 2입니다. 따라서 데이터 길이/초당 바이트입니다.
ps: 여기의 계산 방법은 완벽하지 않고 문제가 많아 나중에 공부한 후 보완하겠습니다.
2. 비디오 부분에서
먼저 여러 값을 정의하십시오.
double last_play //上一帧的播放时间
,play //当前帧的播放时间
, last_delay // 上一次播放视频的两帧视频间隔时间
,delay //两帧视频间隔时间
,audio_clock //音频轨道 实际播放时间
,diff //音频帧与视频帧相差时间
,sync_threshold //合理的范围
,start_time //从第一帧开始的绝对时间
,pts
,actual_delay//真正需要延迟时间
start_time = av_gettime() / 1000000.0;
// 获取pts
if ((pts = av_frame_get_best_effort_timestamp(frame)) == AV_NOPTS_VALUE) {
pts = 0;
}
play = pts * av_q2d(vedio->time_base);
// 纠正时间
play = vedio->synchronize(frame, play);
delay = play - last_play;
if (delay <= 0 || delay > 1) {
delay = last_delay;
}
audio_clock = vedio->audio->clock;
last_delay = delay;
last_play = play;
//音频与视频的时间差
diff = vedio->clock - audio_clock;
// 在合理范围外 才会延迟 加快
sync_threshold = (delay > 0.01 ? 0.01 : delay);
if (fabs(diff) < 10) {
if (diff <= -sync_threshold) {
delay = 0;
} else if (diff >= sync_threshold) {
delay = 2 * delay;
}
}
start_time += delay;
actual_delay = start_time - av_gettime() / 1000000.0;
if (actual_delay < 0.01) {
actual_delay = 0.01;
}
// 休眠时间 ffmpeg 建议这样写 为什么 要这样写 有待研究
av_usleep(actual_delay * 1000000.0 + 6000);
재생(재생 시간)을 수정하는 방법은 ffmpeg 주석에 나와 있습니다.
synchronize(AVFrame *frame, double play) {
//clock是当前播放的时间位置
if (play != 0)
clock=play;
else //pst为0 则先把pts设为上一帧时间
play = clock;
//可能有pts为0 则主动增加clock
//需要求出扩展延时：
double repeat_pict = frame->repeat_pict;
//使用AvCodecContext的而不是stream的
double frame_delay = av_q2d(codec->time_base);
//fps
double fps = 1 / frame_delay;
//pts 加上 这个延迟 是显示时间
double extra_delay = repeat_pict / (2 * fps);
double delay = extra_delay + frame_delay;
clock += delay;
return play;
}
https://www.jianshu.com/p/3578e794f6b5
https://www.jianshu.com/p/de3c07fc6f81 을 참조하십시오.
Ali P7 모바일 인터넷 설계자 고급 비디오(매일 업데이트됨) 무료 학습을 보려면 클릭하십시오: https://space .bilibili.com/474380680
원본 FFmpeg 오디오 및 비디오 디코딩 및 오디오 및 비디오 동기화 (2) bazyd
★기사 마지막에 있는 명함을 통해 (FFmpeg, webRTC, rtmp, hls, rtsp, ffplay, srs) 오디오 및 비디오 개발 학습 자료와 오디오 및 비디오 학습 로드맵 등을 무료로 받아보실 수 있습니다.
아래를 참조하세요!