Android 利用 FFmpeg 解码音视频数据

一、本节目标

继上节获取解封装的 AvPacket 数据包之后，我们知道 AvPacket 存储的都是编码后的数据，因此我们需要将数据包进行解码，从而得到原始的数据，而 FFmpeg 使用 AvFrame 这个数据结构来存储解码后的数据。

对于解码后的数据：

视频原始数据一般是用 yuv 表示。
音频原始数据一般用 pcm 表示。

而在开始之前，我们还是来回顾一下 FFmpeg 处理流的整个过程。

FFmeg 处理流程如下：

1、得到输入流，打开输入流
2、解封装格式->得到编码数据包 AvPacket
3、解码数据包->得到解码的原始数据 AvFrame
4、处理数据->例如滤镜处理，重采样，像素格式转化等
5、编码原始数据->得到编码后的数据
6、封装格式
7、得到输出文件

根据本节目标，我们可以知道，我们重点要了解的就是第 3 步，解码数据包得到 AvFrame 数据。

二、解码音视频的步骤

2.1、获取解码器

0、注册编解码器

avcodec_register_all();

1、获取解码器 AVCodec

因为音频和视频的解码器 AVCodec 是不一样的，而在 FFmpeg 中每一个解码器都会对应的一个codec_id，我们可以通过这个 id 就可以获取对应的解码器了。当前除了通过 codec_id 获取之外，也可以通过 name 来获取，目前先不考虑这种方式。

下面来看一下如何获取：

//得到视音频解码器
AVCodec *audioCodec = avcodec_find_decoder(
        avFormatContext->streams[audioIndex]->codecpar->codec_id);
//得到视频解码器
AVCodec *vedioCodec = avcodec_find_decoder(
        avFormatContext->streams[videoIndex]->codecpar->codec_id);

2、分配解码器上下文空间 AVCodecContext

创建 AVCodecContext 空间

AVCodecContext *ac = avcodec_alloc_context3(audioCodec);
AVCodecContext *vc = avcodec_alloc_context3(vedioCodec);

3、初始化解码器上下文

将 AVCodecParameters 的参数赋值给 AVCodecContext。

ret = avcodec_parameters_to_context(ac, avFormatContext->streams[audioIndex]->codecpar);
if (ret < 0) {
    LOGE("avcodec_parameters_to_context audio failed...")
    return;
}

ret = avcodec_parameters_to_context(vc, avFormatContext->streams[videoIndex]->codecpar);
if (ret < 0) {
    LOGE("avcodec_parameters_to_context vedio failed...")
    return;
}

4、打开解码器

使用 AVCodec 初始化 AVCodecContext

//打开解码器
ret = avcodec_open2(ac, audioCodec, 0);
if (ret != 0) {
    LOGE("avcodec_open2 audioCodec failed ...");
    return;
}


ret = avcodec_open2(vc, vedieCodec, 0);
if (ret != 0) {
    LOGE("avcodec_open2 vedieCodec failed ...");
    return;
}

2.2、开始解码流程

准备好解码器以及解码器上下文就可以开始解码流程了。在上一节中，我们已经通过 av_read_frame解封装获取到对应的编码数据包 AvPacket，下面我们要做的是解码这个数据包。

还是列一下操作步骤：

0、av_read_frame得到解封装后的 AvPacket 。
1、avcodec_send_packet 将 AvPacket 送入解码队列。
2、avcodec_receive_frame 得到解码后的 AvFrame 数据。注意：在 avcodec_send_packet之后，可能有多个 AvFrame 可以读取，因此在读取时需要循环读取。

//临时存储的解码器上下文
AVCodecContext *cc = NULL;
//视频解码器
AVCodecContext *vc = NULL;
//视频解码器
AVCodecContext *ac = NULL;

//得到解码器并初始化解码器上下文
...

//开始解码
for(;;){
    //得到解封装后的 AvPacket
    ret = av_read_frame(avFormatContext, pkt);
    if(ret!=0){
        continue;
    }
        
    if(pkt->stream_index == audioIndex){//当前解码音频数据
        cc = ac;
    }else if(pkt->stream_index == videoIndex){//当前解码视频帧
        cc = vc;
    }
    
    //将 AvPacket 送入给解码队列
    ret = avcodec_send_packet(cc, pkt);
    
    
    //得到解码后的 AvFrame 数据
    //发送一个 avpacket 之后可能可以收到多个 avframe
    for(;;){
        ret = avcodec_receive_frame(cc, avFrame);
        if (ret != 0) {
            break;
        }
        //TODO 在这里可以处理解码后的数据拉，例如滤镜操作，像素格式转化，重采样等。
    }
}

//释放资源
avcodec_free_context(&ac);
avcodec_free_context(&vc);

注意：

在 avcodec_send_packet与avcodec_receive_frame应该是异步操作的，avcodec_send_packet 会将 AvPacket 放入到缓存队列中去解码，avcodec_receive_frame初次被调用时因为异步的原因可能没有获取到，也有可能可以获取多个 AvFrame，主要还是依赖解码的速度，因此通过循环去调用 avcodec_receive_frame 是比较妥当的做法。
本文是基于之前写的几篇文章的，因此之前描述过的内容，在本文就不再重复了。

三、参考

http://ffmpeg.org/

记录于 2019年1月21日