머리말
FFmpeg 개발 환경을 구축한 적이 있는데, 오늘은 FFmpeg 라이브러리를 이용하여 mp4 파일의 캡슐화를 해제하고, mp4에서 비디오 스트림과 오디오 스트림을 추출하여 별도의 출력 파일로 출력해 보도록 하겠습니다. FFmpeg 개발 환경 구축에 대한 이전 기사를 참조하십시오.
소위 비디오와 오디오의 분리는 우리가 흔히 사용하는 용어이며 공식 용어는 캡슐화 해제라고 합니다. 캡슐화 해제에 해당하는 것을 캡슐화 또는 멀티플렉서라고 합니다. 즉, 여러 비디오 스트림 또는 오디오 스트림을 멀티미디어 파일로 결합하는 것을 캡슐화라고 합니다.
API 및 데이터 구조 소개
FFmpeg에서 캡슐화 해제의 일반적인 프로세스는 다음 그림에 나와 있습니다.
여기서 주의할 점은 av_find_best_stream원하는 스트림을 얻지 못할 수도 있다는 점입니다. 예를 들어 av_find_best_stream오디오 스트림의 인덱스를 얻으려는 경우 작성자는 일부 형식에서 성공적으로 얻을 수 없다는 것을 발견했습니다. , 순회 및 캡슐화 해제해야 합니다. 컨텍스트의 스트림은 스트림의 디코더 유형에 의해 얻어집니다. 예를 들어 오디오 스트림을 얻으려면 디코더 유형이 오디오 디코더인지 여부를 결정할 수 있습니다.
다음은 비디오 및 오디오 데이터를 분리하는 데 사용되는 주요 API 및 관련 데이터 구조를 소개합니다.
1 、 리바브포맷
libavformat 라이브러리는 FFmpeg에서 다양한 미디어 컨테이너 포맷을 처리하기 위한 라이브러리로 미디어 파일이나 미디어 스트림의 구성과 기본 정보를 기술하고 있으며, 그 두 가지 주요 기능은 캡슐화와 디캡슐화로 FFmpeg 전체를 관통한다고 할 수 있다. 뿌리.
압축을 풀 때 우리는 주로 avformat 에서 여러 기능을 사용합니다 avformat_alloc_context. 여기서 및 는 avformat_open_input한 쌍의 기능입니다. 하나는 열리고 다른 하나는 닫힙니다. 잊지 마십시오 . 그렇지 않으면 메모리 누수가 발생합니다.avformat_close_inputavformat_open_inputavformat_close_inputavformat_close_input
2. AVPacket
AVPacket 클래스는 인코딩된 프레임 데이터를 저장하는 데 사용됩니다. 일반적으로 압축을 풀어서 디코더에 입력으로 전달하거나 인코더에서 출력으로 전달한 다음 쓰기를 위해 패킹으로 전달합니다.
AVPacket可以表示一个视频包或者一个音频包，内部包含了这个视频包或音频包的播放时长，播放时间戳、二进制数据等相关信息。对于音视频等二进制数据，AVPacket内部使用了引用计数的方式进行数据共享。
对于AVPacket的那个字段，我们点进去头文件可以看到每个字段都有清晰的注释解析，这里就不细说了，例如:
typedef struct AVPacket {
/**
* A reference to the reference-counted buffer where the packet data is
* stored.
* May be NULL, then the packet data is not reference-counted.
*/
AVBufferRef *buf;
/**
* Presentation timestamp in AVStream->time_base units; the time at which
* the decompressed packet will be presented to the user.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
* pts MUST be larger or equal to dts as presentation cannot happen before
* decompression, unless one wants to view hex dumps. Some formats misuse
* the terms dts and pts/cts to mean something different. Such timestamps
* must be converted to true pts/dts before they are stored in AVPacket.
*/
int64_t pts;
/**
* Decompression timestamp in AVStream->time_base units; the time at which
* the packet is decompressed.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
*/
int64_t dts;
uint8_t *data;
int size;
int stream_index;
/**
* A combination of AV_PKT_FLAG values
*/
int flags;
/**
* Additional packet data that can be provided by the container.
* Packet can contain several types of side information.
*/
AVPacketSideData *side_data;
int side_data_elems;
/**
* Duration of this packet in AVStream->time_base units, 0 if unknown.
* Equals next_pts - this_pts in presentation order.
*/
int64_t duration;
int64_t pos; ///< byte position in stream, -1 if unknown
/**
* for some private data of the user
*/
void *opaque;
/**
* AVBufferRef for free use by the API user. FFmpeg will never check the
* contents of the buffer ref. FFmpeg calls av_buffer_unref() on it when
* the packet is unreferenced. av_packet_copy_props() calls create a new
* reference with av_buffer_ref() for the target packet's opaque_ref field.
*
* This is unrelated to the opaque field, although it serves a similar
* purpose.
*/
AVBufferRef *opaque_ref;
/**
* Time base of the packet's timestamps.
* In the future, this field may be set on packets output by encoders or
* demuxers, but its value will be by default ignored on input to decoders
* or muxers.
*/
AVRational time_base;
} AVPacket;
复制代码下面是使用FFmpeg进行解封装的主要API调用:
avformat_alloc_context #封装结构体分配内存 // 可以不调用，avformat_open_input会判断入参是否为NULL，自行分配
avformat_open_input #打开输入文件用于读取数据
av_find_best_stream#获取流信息
针对每个stream处理
- pFormatContext->nb_streams
- avcodec_find_decoder #根据流中的编码参数AVCodecParameters，查找是否支持该编码
- 判断流的类型 pLocalCodecParameters->codec_type
- 保存AVCodecParameters和AVCodec，用于后续处理
av_read_frame #读取一包AVPacket数据包
复制代码提取视频
在FFMpeg中一般mp4解封装提取到的H264裸流是不带start code的，也就是提取到的这种H264裸流不能使用ffplay直接播放，还好FFmpeg很贴心地给我们提供了一个h264_mp4toannexb过滤器，通过这个过滤器我们可以很方便地 给提取到的H264加上start code，从而能让ffplay直接播放。
废话少说，直接上代码:
AVFormatContext *avFormatContext = nullptr;
AVPacket *avPacket = nullptr;
AVFrame *avFrame = nullptr;
FILE *h264_out = nullptr;
FILE *audio_out = nullptr;
AVBSFContext *bsf_ctx = nullptr;
void init_h264_mp4toannexb(AVCodecParameters *avCodecParameters) {
if (nullptr == bsf_ctx) {
const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb");
// 2 初始化过滤器上下文
av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext;
// 3 添加解码器属性
avcodec_parameters_copy(bsf_ctx->par_in, avCodecParameters);
av_bsf_init(bsf_ctx);
}
}
void MediaDeMuxerCore::de_muxer_video(std::string media_path, std::string out_video_path) {
// 分配上下文
avFormatContext = avformat_alloc_context();
// 打开输入文件
avformat_open_input(&avFormatContext, media_path.c_str(), nullptr, nullptr);
// 获取视频流索引
int video_index = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
if (video_index < 0) {
std::cout << "没有找到视频流" << std::endl;
} else {
// 打印媒体信息
av_dump_format(avFormatContext, 0, media_path.c_str(), 0);
h264_out = fopen(out_video_path.c_str(), "wb");
AVStream *video_stream = avFormatContext->streams[video_index];
avPacket = av_packet_alloc();
av_init_packet(avPacket);
while (true) {
int rect = av_read_frame(avFormatContext, avPacket);
if (rect < 0) {
std::cout << "视频流读取完毕" << std::endl;
break;
} else if (video_index == avPacket->stream_index) { // 只需要视频的
std::cout << "写入视频size:" << avPacket->size << std::endl;
// 这里需要注意一下，一般的mp4读出来的的packet是不带start code的，需要手动加上，如果是ts的话则是带上了start code的
// 初始化过滤器，如果本身就是带了start code的调这个也没事，不会重复添加
init_h264_mp4toannexb(video_stream->codecpar);
if (av_bsf_send_packet(bsf_ctx, avPacket) != 0) {
av_packet_unref(avPacket); // 减少引用计数
continue; // 需要更多的包
}
av_packet_unref(avPacket); // 减少引用计数
while (av_bsf_receive_packet(bsf_ctx, avPacket) == 0) {
// printf("fwrite size:%d\n", pkt->size);
size_t size = fwrite(avPacket->data, 1, avPacket->size, h264_out);
av_packet_unref(avPacket); //减少引用计数
}
} else {
av_packet_unref(avPacket); //减少引用计数
}
}
// 刷
fflush(h264_out);
}
avformat_close_input(&avFormatContext);
}
复制代码提取音频
对于FFmpeg中解封装的音频AAC文件来说，mp4文件解封装出来的音频不附带adts头信息的，但是笔者看到有资料说对于ts格式的话好像解封装出来又是带有adts头的(笔者这个没有验证过)。 对于这些没有附带adts头信息的aac音频文件，ffplay也是无法直接播放的，因此我们在提取音频信息时需要手动加上adts头信息。
针对添加adts头信息的话我们有两种方式，一种是对对adts比较熟悉的，可以在每个音频包的前面增加7个或者9个字节即可。还有一种就是使用FFmpeg的复用器封装功能，让其自动加上adts头信息。
其中使用FFmpeg内部复用器封装的步骤如下:
1. ffmpeg가 적합한 파일 형식을 찾도록 av_guess_format을 호출합니다.
2. avformat_new_stream을 호출하여 출력 파일에 대한 새 스트림을 생성합니다. 3. avio_open을 호출하여 새로 생성된 파일을 엽니다. 4. avformat_write_header를 호출하여 파일 헤더를 작성합니다. 5. av_interleaved_write_frame을 호출하여 파일 내용을 씁니다. 6. av_write_trailer를 호출하여 파일의 끝을 씁니다. 7. avio_close를 호출하여 파일을 닫습니다.
저자는 다음 코드를 두 가지 방법으로 간단하게 테스트했으며 추출된 aac 오디오 파일은 정상적으로 재생할 수 있습니다.
아래에 전체 코드를 붙여넣습니다.
MediaDeMuxerCore.h
#include <iostream>
class MediaDeMuxerCore {
public:
MediaDeMuxerCore();
~MediaDeMuxerCore();
// 提取视频 h264裸流
void de_muxer_video(std::string media_path,std::string out_video_path);
// 提取音频 例如aac流
void de_muxer_audio(std::string media_path,std::string out_audio_path);
// 使用容器封装的方式提取aac流
void de_muxer_audio_by_stream(std::string media_path,std::string out_audio_path);
private:
};
复制代码MediaDeMuxerCore.cpp
#include "MediaDeMuxerCore.h"
extern "C" {
#include <libavcodec/avcodec.h>
#include <libavutil/avutil.h>
#include <libavformat/avformat.h>
#include <libavcodec/bsf.h>
}
MediaDeMuxerCore::MediaDeMuxerCore() {
}
AVFormatContext *avFormatContext = nullptr;
AVPacket *avPacket = nullptr;
AVFrame *avFrame = nullptr;
FILE *h264_out = nullptr;
FILE *audio_out = nullptr;
AVBSFContext *bsf_ctx = nullptr;
void init_h264_mp4toannexb(AVCodecParameters *avCodecParameters) {
if (nullptr == bsf_ctx) {
const AVBitStreamFilter *bsfilter = av_bsf_get_by_name("h264_mp4toannexb");
// 2 初始化过滤器上下文
av_bsf_alloc(bsfilter, &bsf_ctx); //AVBSFContext;
// 3 添加解码器属性
avcodec_parameters_copy(bsf_ctx->par_in, avCodecParameters);
av_bsf_init(bsf_ctx);
}
}
void MediaDeMuxerCore::de_muxer_video(std::string media_path, std::string out_video_path) {
// 分配上下文
avFormatContext = avformat_alloc_context();
// 打开输入文件
avformat_open_input(&avFormatContext, media_path.c_str(), nullptr, nullptr);
// 获取视频流索引
int video_index = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_VIDEO, -1, -1, nullptr, 0);
if (video_index < 0) {
std::cout << "没有找到视频流" << std::endl;
} else {
// 打印媒体信息
av_dump_format(avFormatContext, 0, media_path.c_str(), 0);
h264_out = fopen(out_video_path.c_str(), "wb");
AVStream *video_stream = avFormatContext->streams[video_index];
avPacket = av_packet_alloc();
av_init_packet(avPacket);
while (true) {
int rect = av_read_frame(avFormatContext, avPacket);
if (rect < 0) {
std::cout << "视频流读取完毕" << std::endl;
break;
} else if (video_index == avPacket->stream_index) { // 只需要视频的
std::cout << "写入视频size:" << avPacket->size << std::endl;
// 这里需要注意一下，一般的mp4读出来的的packet是不带start code的，需要手动加上，如果是ts的话则是带上了start code的
// 初始化过滤器，如果本身就是带了start code的调这个也没事，不会重复添加
init_h264_mp4toannexb(video_stream->codecpar);
if (av_bsf_send_packet(bsf_ctx, avPacket) != 0) {
av_packet_unref(avPacket); // 减少引用计数
continue; // 需要更多的包
}
av_packet_unref(avPacket); // 减少引用计数
while (av_bsf_receive_packet(bsf_ctx, avPacket) == 0) {
// printf("fwrite size:%d\n", pkt->size);
size_t size = fwrite(avPacket->data, 1, avPacket->size, h264_out);
av_packet_unref(avPacket); //减少引用计数
}
} else {
av_packet_unref(avPacket); //减少引用计数
}
}
// 刷
fflush(h264_out);
}
avformat_close_input(&avFormatContext);
}
const int sampling_frequencies[] = {
96000, // 0x0
88200, // 0x1
64000, // 0x2
48000, // 0x3
44100, // 0x4
32000, // 0x5
24000, // 0x6
22050, // 0x7
16000, // 0x8
12000, // 0x9
11025, // 0xa
8000 // 0xb
// 0xc d e f是保留的
};
int adts_header(char *const p_adts_header, const int data_length,
const int profile, const int samplerate,
const int channels) {
int sampling_frequency_index = 3; // 默认使用48000hz
int adtsLen = data_length + 7;
// 匹配采样率
int frequencies_size = sizeof(sampling_frequencies) / sizeof(sampling_frequencies[0]);
int i = 0;
for (i = 0; i < frequencies_size; i++) {
if (sampling_frequencies[i] == samplerate) {
sampling_frequency_index = i;
break;
}
}
if (i >= frequencies_size) {
std::cout << "没有找到支持的采样率" << std::endl;
return -1;
}
p_adts_header[0] = 0xff; //syncword:0xfff 高8bits
p_adts_header[1] = 0xf0; //syncword:0xfff 低4bits
p_adts_header[1] |= (0 << 3); //MPEG Version:0 for MPEG-4,1 for MPEG-2 1bit
p_adts_header[1] |= (0 << 1); //Layer:0 2bits
p_adts_header[1] |= 1; //protection absent:1 1bit
p_adts_header[2] = (profile) << 6; //profile:profile 2bits
p_adts_header[2] |=
(sampling_frequency_index & 0x0f) << 2; //sampling frequency index:sampling_frequency_index 4bits
p_adts_header[2] |= (0 << 1); //private bit:0 1bit
p_adts_header[2] |= (channels & 0x04) >> 2; //channel configuration:channels 高1bit
p_adts_header[3] = (channels & 0x03) << 6; //channel configuration:channels 低2bits
p_adts_header[3] |= (0 << 5); //original：0 1bit
p_adts_header[3] |= (0 << 4); //home：0 1bit
p_adts_header[3] |= (0 << 3); //copyright id bit：0 1bit
p_adts_header[3] |= (0 << 2); //copyright id start：0 1bit
p_adts_header[3] |= ((adtsLen & 0x1800) >> 11); //frame length：value 高2bits
p_adts_header[4] = (uint8_t) ((adtsLen & 0x7f8) >> 3); //frame length:value 中间8bits
p_adts_header[5] = (uint8_t) ((adtsLen & 0x7) << 5); //frame length:value 低3bits
p_adts_header[5] |= 0x1f; //buffer fullness:0x7ff 高5bits
p_adts_header[6] = 0xfc; //11111100 //buffer fullness:0x7ff 低6bits
return 0;
}
/**
* @param media_path
* @param out_audio_path
*/
void MediaDeMuxerCore::de_muxer_audio(std::string media_path, std::string out_audio_path) {
// 分配上下文
avFormatContext = avformat_alloc_context();
// 打开输入文件
avformat_open_input(&avFormatContext, media_path.c_str(), nullptr, nullptr);
// 获取视频流索引
int audio_index = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0);
audio_out = fopen(out_audio_path.c_str(), "wb");
if (audio_index < 0) {
std::cout << "没有找到音频流" << std::endl;
} else {
// 打印媒体信息
av_dump_format(avFormatContext, 0, media_path.c_str(), 0);
audio_out = fopen(out_audio_path.c_str(), "wb");
AVStream *audio_stream = avFormatContext->streams[audio_index];
avPacket = av_packet_alloc();
av_init_packet(avPacket);
while (true) {
int rect = av_read_frame(avFormatContext, avPacket);
if (rect < 0) {
std::cout << "音频流读取完毕" << std::endl;
break;
} else if (audio_index == avPacket->stream_index) { // 只需要音频的
// adts 头是7个字节，也有可能是9个字节
char adts_header_buf[7] = {0};
adts_header(adts_header_buf, avPacket->size,
avFormatContext->streams[audio_index]->codecpar->profile,
avFormatContext->streams[audio_index]->codecpar->sample_rate,
avFormatContext->streams[audio_index]->codecpar->channels);
// 先写adts头，有些是解封装出来就带有adts头的比如ts
fwrite(adts_header_buf, 1, 7, audio_out);
// 写入aac包
fwrite(avPacket->data, 1, avPacket->size, audio_out);
av_packet_unref(avPacket); //减少引用计数
} else {
av_packet_unref(avPacket); //减少引用计数
}
}
// 刷流
fflush(audio_out);
}
}
void MediaDeMuxerCore::de_muxer_audio_by_stream(std::string media_path, std::string out_audio_path) {
// 分配上下文
avFormatContext = avformat_alloc_context();
// 打开输入文件
avformat_open_input(&avFormatContext, media_path.c_str(), nullptr, nullptr);
// 获取视频流索引
int audio_index = av_find_best_stream(avFormatContext, AVMEDIA_TYPE_AUDIO, -1, -1, nullptr, 0);
audio_out = fopen(out_audio_path.c_str(), "wb");
if (audio_index < 0) {
std::cout << "没有找到音频流" << std::endl;
} else {
std::cout << "音频时长:" << avFormatContext->streams[audio_index]->duration * av_q2d(avFormatContext->streams[audio_index]->time_base) << std::endl;
AVFormatContext *out_format_context = avformat_alloc_context();
const AVOutputFormat *avOutputFormat = av_guess_format(nullptr,out_audio_path.c_str(), nullptr);
out_format_context->oformat = avOutputFormat;
AVStream *aac_stream = avformat_new_stream(out_format_context, NULL);
// 编码信息拷贝
int ret = avcodec_parameters_copy(aac_stream->codecpar,avFormatContext->streams[audio_index]->codecpar);
ret = avio_open(&out_format_context->pb,out_audio_path.c_str(),AVIO_FLAG_WRITE);
if(ret < 0){
std::cout << "输出流打开失败" << std::endl;
}
avformat_write_header(out_format_context, nullptr);
avPacket = av_packet_alloc();
av_init_packet(avPacket);
while (true){
ret = av_read_frame(avFormatContext,avPacket);
if(ret < 0){
std::cout << "read end " << std::endl;
break;
}
if(avPacket->stream_index == audio_index){
avPacket->stream_index = aac_stream->index;
// 时间基转换
av_packet_rescale_ts(avPacket,avPacket->time_base,aac_stream->time_base);
ret = av_write_frame(out_format_context,avPacket);
if(ret < 0){
std::cout << "aad 写入失败" << std::endl;
} else{
std::cout << "aad 写入成功" << std::endl;
}
}
av_packet_unref(avPacket);
}
av_write_trailer(out_format_context);
avformat_flush(out_format_context);
}
}
MediaDeMuxerCore::~MediaDeMuxerCore() {
if (nullptr != avFormatContext) {
avformat_free_context(avFormatContext);
}
if (nullptr != avPacket) {
av_packet_free(&avPacket);
}
if (nullptr != avFrame) {
av_frame_free(&avFrame);
}
if (nullptr != h264_out) {
fclose(h264_out);
h264_out = nullptr;
}
if (nullptr != audio_out) {
fclose(audio_out);
audio_out = nullptr;
}
if (nullptr != bsf_ctx) {
av_bsf_free(&bsf_ctx);
}
}
复制代码코드가 비교적 거칠고 많은 예외가 처리되지 않았으며 관련 리소스가 공개되지 않았습니다.여기에서 살펴보겠습니다. . .
추천 도서
팔로우하고 함께 발전해 보세요. 인생은 코딩 그 이상입니다! ! !