在上一篇中我们介绍了如何在VS2013中配置文件以及FFMpeg的开发环境准备，本篇我们说下视频处理的原理以及实现。对于视频的处理我们这里对它分开总结，不然看起来会显得很冗余复杂，不易理解,主要分为以下几方面。
1、打开视频获取视频信息
2、读取视频分析视频包
3、打开视频解码器
4、视频解码并分析H264解码
5、打开格式转换和缩放
6、视频转RGB并缩放
一、打开视频获取视频信息
#include "aginexplay.h"
#include <QtWidgets/QApplication>
//调用FFMpeg的lib库
#pragma comment(lib,"avformat.lib")
extern "C"
{
//调用FFMpeg的头文件
#include <libavformat/avformat.h>
}
int main(int argc, char *argv[])
{
//打开视频获取视频信息
av_register_all();//注册FFMpeg的库
char *path = "1080.mp4";
AVFormatContext *ic = NULL;//解封装上下文
int re = avformat_open_input(&ic,path,0,0);//打开解封装器
if (re == 0)
{
int totalSec = ic->duration / (AV_TIME_BASE);//获取视频的总时间
printf("file totalSec is %d-%d\n",totalSec/60,totalSec%60);//以分秒计时
avformat_close_input(&ic);//释放解封装的空间，以防空间被快速消耗完
}
QApplication a(argc, argv);
agineXplay w;
w.show();
return a.exec();
}打开视频获取视频时加入解封装的头文件#include <libavformat/avformat.h>和它的链接库#pragma comment(lib,"avformat.lib")，这一整个过程就是解封装获取视频信息，需要注意的是获取信息后一定要记得释放解封装空间，原因如上。
二、读取视频分析视频包
上一个只是用来测试的打开视频获取信息的过程，现在我们需要读取解封装后的视频进行分析，在未读取完之前先不着急释放其中的解封装的空间，代码也做相应的调整
#include "aginexplay.h"
#include <QtWidgets/QApplication>
//调用FFMpeg的lib库
#pragma comment(lib,"avformat.lib")
#pragma comment(lib,"avutil.lib")
#pragma comment(lib,"avcodec.lib")
extern "C"
{
//调用FFMpeg的头文件
#include <libavformat/avformat.h>
}
int main(int argc, char *argv[])
{
//打开视频获取视频信息
av_register_all();//注册FFMpeg的库
char *path = "1080.mp4";
AVFormatContext *ic = NULL;//解封装上下文
int re = avformat_open_input(&ic, path, 0, 0);//打开解封装器
if (re != 0)//打开错误时
{
char buf[1024] = { 0 };
av_strerror(re, buf, sizeof(buf));
printf("open %s failed :%s\n", path, buf);
getchar();
return -1;
}
int totalSec = ic->duration / (AV_TIME_BASE);//获取视频的总时间
printf("file totalSec is %d-%d\n", totalSec / 60, totalSec % 60);//以分秒计时
//读取视频并分析视频包
for (;;)//读取视频中的所有帧
{
AVPacket pkt;
re = av_read_frame(ic, &pkt);//读取解封装后的数据以及信息放入到pkt中
if (re != 0) break;
printf("pts = %d",pkt.pts);//打印它的pts,用来显示的时间戳，后面用来做同步。
av_packet_unref(&pkt);//重新置0
}
avformat_close_input(&ic);//释放解封装器的空间，以防空间被快速消耗完
QApplication a(argc, argv);
agineXplay w;
w.show();
return a.exec();
}
此时需要处理错误信息和后面的解码过程，引入链接库#pragma comment(lib,"avutil.lib")
#pragma comment(lib,"avcodec.lib")，对于解封装后的视频，我们需要它的视频中的每一帧，帧有I、B、P帧，关键帧在后面视频得播放和快进时都要使用到的，而对于pts它的显示时间做同步，可以百度了解下。
三、打开视频解码器
上面两部分已获取了视频信息以及它的视频帧等信息，现在我们需要对获得的消息进行解码，先进行视频解码，音频的解码在后面再说明。对于一个视频打开后有视频流以及音频流stream,先处理视频流，在处理视频时先打开解码器，在打开视频获取视频信息的后面和读取视频并分析视频包前添加打开视频解码器的代码
int totalSec = ic->duration / (AV_TIME_BASE);//获取视频的总时间
printf("file totalSec is %d-%d\n", totalSec / 60, totalSec % 60);//以分秒计时
int videoStream = 0;
for (int i = 0; i < ic->nb_streams; i++)
{
AVCodecContext *enc = ic->streams[i]->codec;//解码上下文
if (enc->codec_type == AVMEDIA_TYPE_VIDEO)//判断是否为视频
{
videoStream = i;
AVCodec *codec = avcodec_find_decoder(enc->codec_id);//查找解码器
if (!codec)//未找到解码器
{
printf("video code not find\n");
return -1;
}
int err = avcodec_open2(enc, codec, NULL);//打开解码器
if (err!= 0)//未打开解码器
{
char buf[1024] = { 0 };
av_strerror(err, buf, sizeof(buf));
printf(buf);
return -2;
}
printf("open codec success!\n");
}
}
//读取视频并分析视频包
for (;;)//读取视频中的所有帧四、视频解码并分析H264解码
现在我们进行视频得解码过程，在上面我们已经获得了视频的帧，对于每次获得的视频帧我们需要对其解码，但解码之后我们要将这些视频帧放入到AVFrame，正如我们知道的此时解码后的视频帧是YUV格式，但最后我们显示的是RGB格式，这种转换我们后面介绍，现在我们对于读取视频并分析视频包的处理过程加入解码视频过程。
//读取视频并分析视频包
AVFrame *yuv = av_frame_alloc();//分配的只是AVFrame的对象空间
for (;;)//读取视频中的所有帧
{
AVPacket pkt;
re = av_read_frame(ic, &pkt);//读取解封装后的数据以及信息放入到pkt中
if (re != 0) break;
if (pkt.stream_index != videoStream) continue;
int pts = pkt.pts * r2d(ic->streams[pkt.stream_index]->time_base) *1000;
int got_picture = 0;//从这里
int re = avcodec_decode_video2(videoCtx, yuv,&got_picture,&pkt);//解码视频过程
if (got_picture)
{
printf("[%d]",re);
}//到这里替换解码过程
printf("pts = %d\n",pts);//打印它的pts,用来显示的时间戳，后面用来做同步。
av_packet_unref(&pkt);//重新置0
}上面可以实现解码过程，但目前新版本还有一个解码方式，将上面的//从这里.......//到这里替换解码过程的这段代码替换成如下代码
int re = avcodec_send_packet(videoCtx ,&pkt);//发送视频帧
if (re != 0)
{
av_packet_unref(&pkt);//不成功就释放这个pkt
continue;
}
re = avcodec_receive_frame(videoCtx, yuv);//接受后对视频帧进行解码
if (re != 0)
{
av_packet_unref(&pkt);//不成功就释放这个pkt
continue;
}
printf("D\n");
五、打开格式转换和缩放
我们知道在完成了解码之后的值是个YUV格式，是将亮度和色彩分离的一种存储方式，这种方式优势是黑白画面，只取Y是黑白画面，UV是色彩，但我们的程序和显示器并不接受此格式，所以我们需要将它转化为RGB格式，我们需要使用转码器，在头文件中加入库#include <libswscale/swscale.h>和链接库#pragma comment(lib,"swscale.lib")，首先我们初始化一个SwsContext用来转码，对于解码后的每帧视频我们进行转码，在转码之前我们先打开转码器，在如下位置添加代码。
for (;;)//读取视频中的所有帧
{
AVPacket pkt;
re = av_read_frame(ic, &pkt);//读取解封装后的数据以及信息放入到pkt中
if (re != 0) break;
if (pkt.stream_index != videoStream) continue;
int pts = pkt.pts * r2d(ic->streams[pkt.stream_index]->time_base) *1000;
int re = avcodec_send_packet(videoCtx ,&pkt);//发送视频帧
if (re != 0)
{
av_packet_unref(&pkt);//不成功就释放这个pkt
continue;
}
re = avcodec_receive_frame(videoCtx, yuv);//接受后对视频帧进行解码
if (re != 0)
{
av_packet_unref(&pkt);//不成功就释放这个pkt
continue;
}
printf("D\n");
cCtx = sws_getCachedContext(cCtx, videoCtx->width,//初始化一个SwsContext
videoCtx->height,
videoCtx->pix_fmt, //输入格式
outwidth, outheight,
AV_PIX_FMT_BGRA,//输出格式
SWS_BICUBIC,//转码的算法
NULL, NULL, NULL);//打开转码器
if (!cCtx)
{
printf("sws_getCachedContext failed!\n");
break;
}
/*
int got_picture = 0;
int re = avcodec_decode_video2(videoCtx, yuv,&got_picture,&pkt);//解码视频过程
if (got_picture)
{
printf("[%d]",re);
}
*/
printf("pts = %d\n",pts);//打印它的pts,用来显示的时间戳，后面用来做同步。
av_packet_unref(&pkt);//重新置0
}
if (cCtx)
{
sws_freeContext(cCtx);
cCtx = NULL;
}
avformat_close_input(&ic);//释放解封装器的空间，以防空间被快速消耗完
转码器在最后需要释放其上下文空间，并重新进行初始化为NULL。
六、视频转RGB并缩放
上一节打开了转码器，现在我们开始对视频进行转码，在打开转码器的下方添加视频转码的代码
if (!cCtx)
{
printf("sws_getCachedContext failed!\n");
break;
}
uint8_t *data[AV_NUM_DATA_POINTERS] = {0};
data[0] = (uint8_t *)rgb;//第一位输出RGB
int linesize[AV_NUM_DATA_POINTERS] = { 0 };
linesize[0] = outwidth * 4;//一行的宽度，32位4个字节
int h = sws_scale(cCtx, yuv->data, //当前处理区域的每个通道数据指针
yuv->linesize,//每个通道行字节数
0,videoCtx->height,//原视频帧的高度
data,//输出的每个通道数据指针
linesize//每个通道行字节数
);//开始转码
if (h > 0)
{
printf("(%d)", h);
}
/*
int got_picture = 0;
int re = avcodec_decode_video2(videoCtx, yuv,&got_picture,&pkt);//解码视频过程
if (got_picture)
{
printf("[%d]",re);
}
*/其中的data 和linesize是我们输出的每个通道数据指针和所转数据的行的字节数，其中的 data[0] = (uint8_t *)rgb中的rgb是我们所要转化为RGB的格式，在RGB中，我们设置了为outheight*outwidth，有outheight*outwidth个像素，像素格式在sws_getCachedContext中设置为AV_PIX_FMT_BGRA,是32位四个字节，所有这里的的总大小为outheight*outwidth*4，所以这里申请的rgb为char *rgb = new char[outheight*outwidth*4]，同理每一行的字节数linesize 为outwidth *4，可以参考代码部分，至此YUV转码为RGB过程结束。
从上面我们可以看到代码基本上是堆出来的，自然它的可复用性相对来说比较差，对后面的扩展也有一定限制，所以在下一篇中我们对它进行类的封装啊！
下一篇链接：https://blog.csdn.net/hfuu1504011020/article/details/82661783