一、ffmpeg开发的基本知识了解
第一点：一个视频播放流程
通常看到视频格式：mp4、mov、flv、wmv等等…
称之为：封装格式
第二点：视频播放器
两种模式播放器
第一种：可视化界面播放器（直接用户直观操作->简单易懂）
e.g:腾讯视频、爱奇艺视频、QQ影音、暴风影音、快播、优酷等等…
第二种：非可视化界面播放器->命令操作播放器->用户看不懂，使用起来非常麻烦
e.g:FFmpeg->ffplay（命令）播放器（内置播放器）
vlc播放器、mplayer播放器
第三点：播放器信息查看工具
整个视频信息：MediaInfo工具->帮助我们查看视频完整信息
二进制查看信息：直接查看视频二进制数据（0101010）->UItraEdit
视频单项信息
封装格式信息工具->Elecard Format Analyzer
视频编码信息工具->Elecard Stream Eye
视频像素信息工具->YUVPlayer
音频采样数据工具->Adobe Audition
第四点：音视频->封装格式
1、封装格式：mp4、mov、flv、wmv等等…
2、封装格式作用
视频流+音频流按照格式进行存储在一个文件中
3、MPEG2-TS格式
视频压缩数据格式：MPEG2-TS
特定：数据排版，不包含头文件，数据大小固定（188byte）的TS-Packet
4、FLV格式
优势：由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入Flash后，使导出的SWF文件体积庞大，不能在网络上很好的使用等问题。
文件结构：FLV是一个二进制文件，由文件头（FLV header）和很多tag组成。tag又可以分成三类：audio,video,script，分别代表音频流，视频流，脚本流（关键字或者文件信息之类）。
FLV文件=FLV头文件+ tag1+tag内容1 + tag2+tag内容2 + ...+... + tagN+tag内容N。
FLV头文件:(9字节)
1-3个字节： 前3个字节是文件格式标识(FLV 0x46 0x4C 0x56).
第4个字节： 第4个字节是版本（0x01）
第5个字节： 第5个字节的前5个bit是保留的必须是0.
6-9个字节: 第6-9的四个字节还是保留的.其数据为 00000009 .
整个文件头的长度，一般是9（3+1+1+4）
第五点：视频编码数据了解一下
1、视频编码作用
将视频像素数据（YUV、RGB）进行压缩成为视频码流，从而降低视频数据量。（减小内存暂用）
2、视频编码格式有哪些
MJPEG
MJPEG（Motion JPEG）压缩技术，主要是基于静态视频压缩发展起来的技术，它的主要特点是基本不考虑视频流中不同帧之间的变化，只单独对某一帧进行压缩。
MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因此单帧视频的占用空间较大，流行的MJPEG技术监控与视频编码最好的也只能做到3K字节/帧，通常要8~20K！
MPEG-1/2
MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240；PAL制为352X288）的图像进行压缩. 压缩位率主要目标为1.5Mb/s.较MJPEG技术，MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方：存储容量还是过大、清晰度不够高和网络传输困难。
MPEG-2 在MPEG-1基础上进行了扩充和提升，和MPEG-1向下兼容，主要针对存储媒体、数字电视、高清晰等应用领域，分辨率为：低（352x288），中（720x480），次高（1440x1080），高（1920x1080）。MPEG-2视频相对MPEG-1提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适合网络传输。
MPEG-4
MPEG-4视频压缩算法相对于MPEG-1/2在低比特率压缩上有着显著提高，在CIF（352*288）或者更高清晰度（768*576）情况下的视频压缩，无论从清晰度还是从存储量上都比MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。
MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容，很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另外对于中国企业来说还要面临高昂的专利费问题，规定：
－ 每台解码设备需要交给MPEG-LA 0.25美元。
－编码/解码设备还需要按时间交费（4美分/天=1.2美元/月 =14.4美元/年）。
H.264/AVC
视频压缩国际标准主要有由ITU-T制定的H.261、H.262、H.263、H.264和由MPEG制定的MPEG-1、MPEG-2、MPEG-4，其中H.262/MPEG-2和H.264/MPEG-4 AVC由ITU-T与MPEG联合制定。
从简单来说H.264就是一种视频编码技术，与微软的WMV9都属于同一种技术也就是压缩动态图像数据的“编解码器”程序。
3、H.264视频压缩数据格式
非常复杂算法->压缩->占用内存那么少？（例如：帧间预测、帧内预测…）->提高压缩性能
第六点：音频编码数据？
1、音频编码作用？
将音频采样数据（PCM格式）进行压缩成为音频码流，从而降低音频数据量。（减小内存暂用）
2、音频编码飞逝有哪些
AAC、MP3、WMV等等…
3、AAC格式
AAC，全称Advanced Audio Coding，是一种专为声音数据设计的文件压缩格式。与MP3不同，它采用了全新的算法进行编码，更加高效，具有更高的“性价比”。利用AAC格式，可使人感觉声音质量没有明显降低的前提下，更加小巧。苹果ipod、诺基亚手机支持AAC格式的音频文件。
优点：相对于mp3，AAC格式的音质更佳，文件更小。
不足：AAC属于有损压缩的格式，与时下流行的APE、FLAC等无损格式相比音质存在“本质上”的差距。加之，传输速度更快的USB3.0和16G以上大容量MP3正在加速普及，也使得AAC头上“小巧”的光环不复存在。
①提升的压缩率：可以以更小的文件大小获得更高的音质；
②支持多声道：可提供最多48个全音域声道；
③更高的解析度：最高支持96KHz的采样频率；
④提升的解码效率：解码播放所占的资源更少；
第七点：视频像素数据
1、作用
保存了屏幕上面每一个像素点的值
2、视频像素数据格式种类？
常见格式：RGB24、RGB32、YUV420P、YUV422P、YUV444P等等…一般最常见：YUV420P
3、视频像素数据文件大小计算？
例如：RGB24高清视频体积？（1个小时时长）
体积：3600 * 25 * 1920 * 1080 * 3 = 559GB（非常大）
假设：帧率25HZ，采样精度8bit，3个字节
4、YUV播放器
人类：对色度不敏感，对亮度敏感
Y表示：亮度
UV表示：色度
第八点：音频采样数据格式
1、作用
保存了音频中的每一个采样点值
2、音频采样数据文件大小计算？
例如：1分钟PCM格式歌曲
体积：60 * 44100 * 2 * 2 = 11MB
分析：60表示时间，44100表示采样率（一般情况下，都是这个采样率，人的耳朵能够分辨的声音），2表示声道数量，2表示采样精度16位 = 2字节
3、音频采样数据查看工具
4、PCM格式
存储顺序？
第九点：FFmepg应用？
提供了一套比较完整代码->开源免费
核心架构设计思想：（核心 + 插件）设计
重要命令学习
1、ffmpeg.exe（视频压缩->转码来完成）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
作用：用于对视频进行转码
将mp4->mov，mov->mp4，wmv->mp4等等…
命令格式：ffmpeg -i {指定输入文件路径} -b:v {输出视频码率} {输出文件路径}
测试运行：将Test.mov->Test.mp4
时间格式：如何指定
截取视频： ./ffmpeg -i Test.mov -ss 00:00:05 -t 00:00:10 sub.mov
从视频的第5秒开始截取，然后往后10秒结束，这个视频长度为10秒
2、ffplay.exe
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
作用：播放视频
格式：ffplay {文件路径}
例如：./ffplay Test.mov
案例：视频，转为高质量 GIF 动图？
命令：./ffmpeg -ss 00:00:03 -t 3 -i Test.mov -s 640x360 -r “15” dongtu.gif
解释：
1、ffmpeg 是你刚才安装的程序；
2、-ss 00:00:03 表示从第 00 分钟 03 秒开始制作 GIF，如果你想从第 9 秒开始，则输入 -ss 00:00:09，或者 -ss 9，支持小数点，所以也可以输入 -ss 00:00:11.3，或者 -ss 34.6 之类的，如果不加该命令，则从 0 秒开始制作；
3、-t 3 表示把持续 3 秒的视频转换为 GIF，你可以把它改为其他数字，例如 1.5，7 等等，时间越长，GIF 体积越大，如果不加该命令，则把整个视频转为 GIF；
4、-i 表示 invert 的意思吧，转换；
5、Test.mov 就是你要转换的视频，名称最好不要有中文，不要留空格，支持多种视频格式；
6、-s 640x360 是 GIF 的分辨率，视频分辨率可能是 1080p，但你制作的 GIF 可以转为 720p 等，允许自定义，分辨率越高体积越大，如果不加该命令，则保持分辨率不变；
7、-r “15” 表示帧率，网上下载的视频帧率通常为 24，设为 15 效果挺好了，帧率越高体积越大，如果不加该命令，则保持帧率不变；
8、dongtu.gif：就是你要输出的文件，你也可以把它命名为 hello.gif 等等。
二、将ffmpeg导入到工程里面
1.创建一个工程
2.创建ffmpeg导入到工程
添加依赖库，这里的依赖库都是多媒体相关的:CoreMedia.framework, VideoToolbox.framework, AudioToolbox.framework, CoreGraphics.framework, libz.tbd, libiconv.tbd, libbz2.tbd
配置Header Search Paths 路径，这个路径可以将Library Search Paths:将ffmpeg.a库文件lib文件夹路径加进去，只需将lib改为存放头文件的文件夹即可
三、测试ffmpeg的可行性
这里用三个方法去测试
创建一个AVAFFmpegConfigure类
.h文件代码如下
//
// AVAFFmpegConfigure.h
// Avalanching_FFmpeg_Project
//
// Created by Avalanching on 2018/9/12.
// Copyright © 2018年 Avalanching. All rights reserved.
//
#import <Foundation/Foundation.h>
// 导入头文件
#import <libavcodec/avcodec.h>
// 导入封装格式库
#import <libavformat/avformat.h>
// 工具包
#import <libavutil/imgutils.h>
// 视频像素格式哭
#import <libswscale/swscale.h>
@interface AVAFFmpegConfigure : NSObject
+ (void)ffmpegConfigurationTest;
+ (void)ffmpegOpenVideoFile:(NSString *)filePath;
+ (void)ffmpegDecodecWithFilePath:(NSString *)filepath;
@end
.m文件代码如下
//
// AVAFFmpegConfigure.m
// Avalanching_FFmpeg_Project
//
// Created by Avalanching on 2018/9/12.
// Copyright © 2018年 Avalanching. All rights reserved.
//
#import "AVAFFmpegConfigure.h"
@implementation AVAFFmpegConfigure
+ (void)ffmpegConfigurationTest {
const char *configuration = avcodec_configuration();
NSLog(@"%s", configuration);
}
+ (void)ffmpegOpenVideoFile:(NSString *)filePath {
// 第一步注册组建
// 旧的接口:av_register_all();
// 这不需要注册组建
// 4.0.0 API大量更换，让很多初学者很难去学习
// 详细接口替换可以查看下载的源码目录下的doc/APIChange 这个文件
// 具体的用法就需要查看方法注释
// 第二步打开封装格式文件
// param1:封装格式的上下文
AVFormatContext *formatContext = avformat_alloc_context();
// param2:视频文件地址
const char *url = [filePath UTF8String];
// param3:指定输入的封装格式
// param4:指定默认配置信息
int result = avformat_open_input(&formatContext, url, NULL, NULL);
if (result != 0) {
// 这里是打开失败
NSLog(@"open false!!");
} else {
NSLog(@"open success!!");
}
}
+ (void)ffmpegDecodecWithFilePath:(NSString *)filepath {
// 第一步：组册组件
// av_register_all() 4.0.0之前的接口
// 新版的API，此处不需要注册组建
// 例如：编码器、解码器等等…
// 第二步：打开封装格式->打开文件
// 例如：.mp4、.mov、.wmv文件等等...
// avformat_open_input();
AVFormatContext *formatContext = avformat_alloc_context();
const char *url = [filepath UTF8String];
int avformat_result = avformat_open_input(&formatContext, url, NULL, NULL);
if (avformat_result != 0) {
NSLog(@"open false");
return;
}
// 第三步：查找视频流
// 如果是视频解码，那么查找视频流，如果是音频解码，那么就查找音频流
// avformat_find_stream_info();
// AVProgram 视频的相关信息
int avformat_find_stream_result = avformat_find_stream_info(formatContext, NULL);
if (avformat_find_stream_result < 0) {
NSLog(@"search video stream is false!!!");
return;
}
// 第四步：查找视频解码器
// 1、查找视频流索引位置
int avformat_stream_index = 0;
for (int i = 0; i < formatContext->nb_streams; i++) {
// 判断流的类型
// 旧的接口 formatContext->streams[i]->codec->codec_type
// 4.0.0以后新加入的类型用于替代codec
// codec -> codecpar
enum AVMediaType mediatype = formatContext->streams[i]->codecpar->codec_type;
if (mediatype == AVMEDIA_TYPE_VIDEO) {
// 视频流
avformat_stream_index = i;
break;
} else if (mediatype == AVMEDIA_TYPE_AUDIO) {
// 音频流
} else {
// 其他流
}
}
// 2、根据视频流索引，获取解码器上下文
// 旧的接口 拿到上下文,formatContext->streams[i]->codec
// 4.0.0以后新加入的类型用于替代codec
// codec -> codecpar 此处新接口不需要上下文
AVCodecParameters *avcodecParameters = formatContext->streams[avformat_stream_index]->codecpar;
enum AVCodecID codeid = avcodecParameters->codec_id;
// 3、根据解码器上下文，获得解码器ID，然后查找解码器
// avcodec_find_encoder(enum AVCodecID id) 编码器
AVCodec *codec = avcodec_find_decoder(codeid);
// 第五步：打开解码器
// avcodec_open2();
// 旧接口直接使用codec作为上下文传入
// formatContext->streams[avformat_stream_index]->codec被遗弃
// 新接口如下
AVCodecContext *avCodecContext = avcodec_alloc_context3(NULL);
if (avCodecContext == NULL) {
// 创建解码器上下文失败
NSLog(@"create codecContext is false");
return;
}
// avcodec_parameters_to_context(AVCodecContext *codec, const AVCodecParameters *par)
// 将新的API中的 codecpar 转成 AVCodecContext
avcodec_parameters_to_context(avCodecContext, avcodecParameters);
int avcodec_open2_result = avcodec_open2(avCodecContext, codec, NULL);
if (avcodec_open2_result != 0) {
NSLog(@"open decodec is false");
return;
}
NSLog(@"decodec name: %s", codec->name);
// 第六步：读取视频压缩数据->循环读取
// av_read_frame(AVFormatContext *s, AVPacket *pkt)
// s: 封装格式上下文
// pkt: 一帧的压缩数据
AVPacket *avpacket = (AVPacket *)av_mallocz(sizeof(AVPacket));
// 用于存放解码之后的像素数据
AVFrame *avFrame_in = av_frame_alloc();
int avcodec_receive_frame_result = 0;
// sws_getContext(int srcW, int srcH, enum AVPixelFormat srcFormat, int dstW, int dstH, enum AVPixelFormat dstFormat, int flags, SwsFilter *srcFilter, SwsFilter *dstFilter, const double *param)
// 原始数据
// scrW: 原始格式宽度
// scrH: 原始格式高度
// scrFormat: 原始数据格式
// 目标数据
// dstW: 目标格式宽度
// dstH: 目标格式高度
// dstFormat: 目标数据格式
// 当遇到Assertion desc failed at src/libswscale/swscale_internal.h:668
// 这个问题就是获取元数据的高度有问题
struct SwsContext *swsContext = sws_getContext(avcodecParameters->width,
avcodecParameters->height,
avCodecContext->pix_fmt,
avcodecParameters->width,
avcodecParameters->height,
AV_PIX_FMT_YUV420P,
SWS_BITEXACT, NULL, NULL, NULL);
// 创建缓冲区
//创建一个yuv420视频像素数据格式缓冲区(一帧数据)
AVFrame* avframe_yuv420p = av_frame_alloc();
//给缓冲区设置类型->yuv420类型
//得到YUV420P缓冲区大小
// av_image_get_buffer_size(enum AVPixelFormat pix_fmt, int width, int height, int align)
//pix_fmt: 视频像素数据格式类型->YUV420P格式
//width: 一帧视频像素数据宽 = 视频宽
//height: 一帧视频像素数据高 = 视频高
//align: 字节对齐方式->默认是1
int buffer_size = av_image_get_buffer_size(AV_PIX_FMT_YUV420P,
avCodecContext->width,
avCodecContext->height,
1);
// 开辟一块内存空间
uint8_t *out_buffer = (uint8_t *)av_malloc(buffer_size);
// 向avframe_yuv420p->填充数据
// av_image_fill_arrays(uint8_t **dst_data, int *dst_linesize, const uint8_t *src, enum AVPixelFormat pix_fmt, int width, int height, int align)
//dst_data: 目标->填充数据(avframe_yuv420p)
//dst_linesize: 目标->每一行大小
//src: 原始数据
//pix_fmt: 目标->格式类型
//width: 宽
//height: 高
//align: 字节对齐方式
av_image_fill_arrays(avframe_yuv420p->data,
avframe_yuv420p->linesize,
out_buffer,
AV_PIX_FMT_YUV420P,
avCodecContext->width,
avCodecContext->height,
1);
int y_size, u_size, v_size;
//5.2 将yuv420p数据写入.yuv文件中
//打开写入文件
//获得应用程序沙盒的Documents目录
NSString* doc_path = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES).firstObject;
//创建文件管理器对象
NSString* filename = [doc_path stringByAppendingPathComponent:@"output.yuv"];
//创建目录
NSFileManager *fileManager = [NSFileManager defaultManager];
if ( ![fileManager fileExistsAtPath:filename]) {
[fileManager createFileAtPath:filename contents:nil attributes:nil];
}
const char *fileYUV = [filename UTF8String];
/*
* fopen的参数rb+和wb+都是操作可读可写的二进制文件
区别是
对于rb+如果打开的文件不存在 会报错(返回NULL)
对于wb+ 如果文件不存在则会建立，如果文件存在 会覆盖
*/
FILE* file_yuv420p = fopen(fileYUV,"rb+"); //
if (file_yuv420p == NULL) {
NSLog(@"file open is false");
}
int current_index = 0;
while (av_read_frame(formatContext, avpacket) >= 0) {
// 判断是不是视频
if (avpacket->stream_index == avformat_stream_index) {
// 每读取一帧数据，立马解码一帧数据
// 解码之后得到视频的像素数据->YUV
// avcodec_send_packet(AVCodecContext *avctx, AVPacket *pkt)
// avctx: 解码器上下文
// pkt: 获取到数据包
// 获取一帧数据
avcodec_send_packet(avCodecContext, avpacket);
// 解码
avcodec_receive_frame_result = avcodec_receive_frame(avCodecContext, avFrame_in);
if (avcodec_receive_frame_result == 0) {
// 解码成功
// 此处无法保证视频的像素格式是一定是YUV格式
// 将解码出来的这一帧数据，统一转类型为YUV
// sws_scale(struct SwsContext *c, const uint8_t *const *srcSlice, const int *srcStride, int srcSliceY, int srcSliceH, uint8_t *const *dst, const int *dstStride)
// SwsContext *c: 视频像素格式的上下文
// srcSlice: 原始视频输入数据
// srcStride: 原数据每一行的大小
// srcSliceY: 输入画面的开始位置，一般从0开始
// srcSliceH: 原始数据的长度
// dst: 输出的视频格式
// dstStride: 输出的画面大小
sws_scale(swsContext,
(const uint8_t *const *)avFrame_in->data,
avFrame_in->linesize,
0,
avCodecContext->height,
avframe_yuv420p->data,
avframe_yuv420p->linesize);
//方式一：直接显示视频上面去
//方式二：写入yuv文件格式
//5、将yuv420p数据写入.yuv文件中
//5.1 计算YUV大小
//分析一下原理?
//Y表示：亮度
//UV表示：色度
//有规律
//YUV420P格式规范一：Y结构表示一个像素(一个像素对应一个Y)
//YUV420P格式规范二：4个像素点对应一个(U和V: 4Y = U = V)
y_size = avCodecContext->width * avCodecContext->height;
u_size = y_size / 4;
v_size = y_size / 4;
//5.2 写入.yuv文件
//首先->Y数据
fwrite(avframe_yuv420p->data[0], 1, y_size, file_yuv420p);
//其次->U数据
fwrite(avframe_yuv420p->data[1], 1, u_size, file_yuv420p);
//再其次->V数据
fwrite(avframe_yuv420p->data[2], 1, v_size, file_yuv420p);
current_index++;
NSLog(@"当前解码%d帧", current_index);
}
}
}
// 第八步：关闭解码器->解码完成
av_packet_free(&avpacket);
fclose(file_yuv420p);
av_frame_free(&avFrame_in);
av_frame_free(&avframe_yuv420p);
free(out_buffer);
avcodec_close(avCodecContext);
avformat_free_context(formatContext);
}
@end总结：
1、新的ffmpeg库不需要集中初始化的组建
2、新的API中将AVStream结构体中codec作了遗弃处理，当需要解码器上下文的时候，需要用AVCodecParameters去转化，解决方案是如下：
AVCodecContext *avCodecContext = avcodec_alloc_context3(NULL);
if (avCodecContext == NULL) {
return;
}
// avcodec_parameters_to_context(AVCodecContext *codec, const AVCodecParameters *par)
// 将新的API中的 codecpar 转成 AVCodecContext
// 此处的avcodecParameters 是AVStream中的codecpar属性，codecpar里面包含了视频基础信息,
// 但是此处不能直接使用codecpar中的width和height，否者会报错误，错误如下
// Assertion desc failed at src/libswscale/swscale_internal.h:668
avcodec_parameters_to_context(avCodecContext, avcodecParameters);3、av_mallocz(size_t size)动态内存空间，C/C++知识点，动态去请求内存空间，需要多少开辟多少。
4、处理结束需要按照使用的对象，结构体的层级关系去释放内存。
5、尽量使用新的API