NDK开发——FFmpeg视频解码

移动开发 2023-06-18 20:38:24 阅读次数: 0

目前很多视频项目，包括直播项目都是使用FFmpeg来进行视频解码，所以视频解码是学习FFmpeg的重点之一。

上一篇文章《云服务器Ubuntu下搭建NDK环境，并编译FFmpeg》，已经编译好了FFmpeg。这篇文章将使用编译好的so库实现视频解码。

该实践项目实现功能：将本地的一个视频文件解码，解码之后保存到本地。

1、搭建DNK项目

搭建NDK项目，之前有介绍过，如果使用Eclipse搭建的，可以参考这篇文章《Eclipse下搭建Android的NDK开发环境》，如果使用AndroidStudio搭建的，可以参考这篇文章《Android Studio搭建ndk开发流程》，本例将使用Eclipse搭建。

2、将编译好的so库和include文件复制到JNI目录下

3、创建本地方法并生成头文件

public class VideoUtils {

	public native static void decode(String input,String output);
	
	static{
		System.loadLibrary("avutil-54");
		System.loadLibrary("swresample-1");
		System.loadLibrary("avcodec-56");
		System.loadLibrary("avformat-56");
		System.loadLibrary("swscale-3");
		System.loadLibrary("postproc-53");
		System.loadLibrary("avfilter-5");
		System.loadLibrary("avdevice-56");
		System.loadLibrary("myffmpeg");
	}
}

上图中新建了一个ffmpagePlayer.c文件，用于实现头文件的函数。

4、修改Android.mk

LOCAL_PATH := $(call my-dir)

#ffmpeg lib
include $(CLEAR_VARS)
LOCAL_MODULE := avcodec
LOCAL_SRC_FILES := libavcodec-56.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avdevice
LOCAL_SRC_FILES := libavdevice-56.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avfilter
LOCAL_SRC_FILES := libavfilter-5.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avformat
LOCAL_SRC_FILES := libavformat-56.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := avutil
LOCAL_SRC_FILES := libavutil-54.so
include $(PREBUILT_SHARED_LIBRARY)


include $(CLEAR_VARS)
LOCAL_MODULE := postproc
LOCAL_SRC_FILES := libpostproc-53.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := swresample
LOCAL_SRC_FILES := libswresample-1.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE := swscale
LOCAL_SRC_FILES := libswscale-3.so
include $(PREBUILT_SHARED_LIBRARY)


include $(CLEAR_VARS)

LOCAL_MODULE    := myffmpeg
LOCAL_SRC_FILES := ffmpagePlayer.c
LOCAL_C_INCLUDES += $(LOCAL_PATH)/include
LOCAL_LDLIBS := -llog #log
LOCAL_SHARED_LIBRARIES := avcodec avdevice avfilter avformat avutil postproc swresample swscale

include $(BUILD_SHARED_LIBRARY)

5、新建Application.mk文件

APP_ABI := armeabi armeabi-v7a #必须指定生成mip64架构的so文件，否则出错
APP_PLATFORM := android-8

6、实现视频解码

在ffmpagePlayer.c文件中头文件函数（实现视频解码）。

#include "com_example_codecpro_VideoUtils.h"
#include <jni.h>

#include <android/log.h>
//编码
#include "include/libavcodec/avcodec.h"
//封装格式处理
#include "include/libavformat/avformat.h"
//像素处理
#include "include/libswscale/swscale.h"

//宏定义
#define LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,"tag",FORMAT,##__VA_ARGS__);
#define LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,"tag",FORMAT,##__VA_ARGS__);

JNIEXPORT void JNICALL Java_com_example_codecpro_VideoUtils_decode
(JNIEnv *env, jclass jcls, jstring input_jstr, jstring output_jstr){

	//需要转码的视频文件(输入的视频文件)
	const char* input_cstr = (*env)->GetStringUTFChars(env,input_jstr,NULL);
	const char* output_cstr = (*env)->GetStringUTFChars(env,output_jstr,NULL);

	//1.注册组件
	av_register_all();

	//封装格式上下文
	AVFormatContext *pFormatCtx = avformat_alloc_context();

	//2.打开输入视频文件avformat_open_input(AVFormatContext **ps, const char *url, AVInputFormat *fmt, AVDictionary **options);
	if(avformat_open_input(&pFormatCtx,input_cstr,NULL,NULL) != 0){
		LOGE("%s","打开输入视频文件失败");
		return;
	}
	//3.获取视频信息
	if(avformat_find_stream_info(pFormatCtx,NULL) < 0){
		LOGE("%s","获取视频信息失败");
		return;
	}

	//视频解码，需要找到视频对应的AVStream所在pFormatCtx->streams的索引位置
	int video_stream_idx = -1;
	int i = 0;
	for(; i < pFormatCtx->nb_streams;i++){
		//根据类型判断，是否是视频流
		if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){
			video_stream_idx = i;
			break;
		}
	}

	//4.获取视频解码器
	AVCodecContext *pCodeCtx = pFormatCtx->streams[video_stream_idx]->codec;
	AVCodec *pCodec = avcodec_find_decoder(pCodeCtx->codec_id);
	if(pCodec == NULL){
		LOGE("%s","无法解码");
		return;
	}

	//5.打开解码器
	if(avcodec_open2(pCodeCtx,pCodec,NULL) < 0){
		LOGE("%s","解码器无法打开");
		return;
	}

	//编码数据
	AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket));

	//像素数据（解码数据）
	AVFrame *frame = av_frame_alloc();
	AVFrame *yuvFrame = av_frame_alloc();

	//只有指定了AVFrame的像素格式、画面大小才能真正分配内存
	//缓冲区分配内存
	uint8_t *out_buffer = (uint8_t *)av_malloc(avpicture_get_size(AV_PIX_FMT_YUV420P, pCodeCtx->width, pCodeCtx->height));
	//初始化缓冲区
	avpicture_fill((AVPicture *)yuvFrame, out_buffer, AV_PIX_FMT_YUV420P, pCodeCtx->width, pCodeCtx->height);


	//输出文件
	FILE* fp_yuv = fopen(output_cstr,"wb");

	//用于像素格式转换或者缩放
	struct SwsContext *sws_ctx = sws_getContext(
			pCodeCtx->width, pCodeCtx->height, pCodeCtx->pix_fmt,
			pCodeCtx->width, pCodeCtx->height, AV_PIX_FMT_YUV420P,
			SWS_BILINEAR, NULL, NULL, NULL);

	int len ,got_frame, framecount = 0;
	//6.一阵一阵读取压缩的视频数据AVPacket
	while(av_read_frame(pFormatCtx,packet) >= 0){
		//判断是不是videoStream
		if(packet.stream_index == video_stream_idx){
			//解码AVPacket->AVFrame
			len = avcodec_decode_video2(pCodeCtx, frame, &got_frame, packet);
			//Zero if no frame could be decompressed
			//非零，正在解码
			if(got_frame){
				//frame->yuvFrame (YUV420P)
				//转为指定的YUV420P像素帧
				sws_scale(sws_ctx,
						frame->data,frame->linesize, 0, frame->height,
						yuvFrame->data, yuvFrame->linesize);

				//向YUV文件保存解码之后的帧数据
				//AVFrame->YUV
				//一个像素包含一个Y
				int y_size = pCodeCtx->width * pCodeCtx->height;
				fwrite(yuvFrame->data[0], 1, y_size, fp_yuv);
				fwrite(yuvFrame->data[1], 1, y_size/4, fp_yuv);
				fwrite(yuvFrame->data[2], 1, y_size/4, fp_yuv);

				LOGI("解码%d帧",framecount++);
			}

			av_free_packet(packet);
		}
	}

	fclose(fp_yuv);

	av_frame_free(&frame);
	avcodec_close(pCodeCtx);
	avformat_free_context(pFormatCtx);

	(*env)->ReleaseStringUTFChars(env,input_jstr,input_cstr);
	(*env)->ReleaseStringUTFChars(env,output_jstr,output_cstr);

}

上面函数就是实现视频解码的核心代码，这里将重点分析视频解码的步骤。

1）初始化库（注册组件）

注意：这里需要引入

//编码
#include "include/libavcodec/avcodec.h"
//封装格式处理
#include "include/libavformat/avformat.h"

使用av_register_all()来注册所有文件和编解码库，所以他们被自动的使用在被打开的合适格式的文件上，av_register_all()只需要调用一次即可，一般我们在主函数中调用。

接着拿到封装格式上下文：

AVFormatContext *pFormatCtx = avformat_alloc_context();

2）打开输入视频文件

if(avformat_open_input(&pFormatCtx,input_cstr,NULL,NULL) != 0){
	LOGE("%s","打开输入视频文件失败");
	return;
}

通过第一个参数来获得文件名。这个函数读取文件的头部并且把信息保存到AVFormatContext 结构体中，最后三个参数用来指定特殊的文件格式，缓冲大小和格式参数，但如果把它们设置为NULL或者0，libavformat将自动检测这些参数。

3）获取视频信息
 

if(avformat_find_stream_info(pFormatCtx,NULL) < 0){
	LOGE("%s","获取视频信息失败");
	return;
}

4）找到视频对应的AVStream所在pFormatCtx->streams的索引位置

int video_stream_idx = -1;
int i = 0;
for(; i < pFormatCtx->nb_streams;i++){
	//根据类型判断，是否是视频流
	if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){
		video_stream_idx = i;
		break;
	}
}

5）获取视频解码器

AVCodecContext *pCodeCtx = pFormatCtx->streams[video_stream_idx]->codec;

每个流是由不同的编码 器来编码生成的。编解码器描述了实际的数据是如何被编码 Coded 和解码 DECoded 的，因此它的名字叫做 CODEC。

流中关于编解码器的信息就是被我们叫做"AVCodecContext "（编解码器上下文）的东西。这里面包含了流中所使用的关于编解码器的所有信息，现在我们有了一个指向他的指针。但是我们必需要找到真正的编解码器并且打开它：
 

AVCodec *pCodec = avcodec_find_decoder(pCodeCtx->codec_id);
if(pCodec == NULL){
	LOGE("%s","无法解码");
	return;
}

//打开解码器
if(avcodec_open2(pCodeCtx,pCodec,NULL) < 0){
	LOGE("%s","解码器无法打开");
	return;
}

6）保存数据

需要保存帧：

//编码数据
AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket));
//像素数据（解码数据）
AVFrame *frame = av_frame_alloc();

这里我们需要知道一个概念，什么是帧？ Frame：音频流和视频流中的数据元素被称为帧

把原始的帧转换成一个特定的格式。让我们先为转换来申请一帧的内存：

AVFrame *yuvFrame = av_frame_alloc();

即使申请了一帧的内存，当转换的时候，仍然需要一个地方来存放原始的数据。

//只有指定了AVFrame的像素格式、画面大小才能真正分配内存
//缓冲区分配内存
uint8_t *out_buffer = (uint8_t *)av_malloc(avpicture_get_size(AV_PIX_FMT_YUV420P, pCodeCtx->width, pCodeCtx->height));
//初始化缓冲区
avpicture_fill((AVPicture *)yuvFrame, out_buffer, AV_PIX_FMT_YUV420P, pCodeCtx->width, pCodeCtx->height);

av_malloc：简单的 malloc的包装，这样来保证内存地址是对齐的（4 字节对齐或者 2 字节对齐）。但并不能保护你不被内存泄漏，重复释放或者其它malloc的问题所困扰。
avpicture_fill：把帧和新申请的内存来结合。
AVPicture结构： AVPicture结构体是 AVFrame结构体的子集――AVFrame 结构体的开始部分与 AVPicture 结构体是一样的。

7）读取数据
 

int len ,got_frame, framecount = 0;
//一帧一帧读取压缩的视频数据AVPacket
while(av_read_frame(pFormatCtx,packet) >= 0){
	//判断是不是videoStream
	if(packet.stream_index == video_stream_idx){
		//解码AVPacket->AVFrame
		len = avcodec_decode_video2(pCodeCtx, frame, &got_frame, packet);
		//Zero if no frame could be decompressed
		//非零，正在解码
		if(got_frame){
			//frame->yuvFrame (YUV420P)
			//转为指定的YUV420P像素帧
			sws_scale(sws_ctx,
					frame->data,frame->linesize, 0, frame->height,
					yuvFrame->data, yuvFrame->linesize);

			//向YUV文件保存解码之后的帧数据
			//AVFrame->YUV
			//一个像素包含一个Y
			int y_size = pCodeCtx->width * pCodeCtx->height;
			fwrite(yuvFrame->data[0], 1, y_size, fp_yuv);
			fwrite(yuvFrame->data[1], 1, y_size/4, fp_yuv);
			fwrite(yuvFrame->data[2], 1, y_size/4, fp_yuv);

			LOGI("解码%d帧",framecount++);
		}

		av_free_packet(packet);
	}
}

循环过程：
av_read_frame()：读取一个包并且把它保存到AVPacket结构体中。注意我们仅仅申请了一个包的结构体,ffmpeg为我们申请了内部的数据的内存并通过packet.data指针来指向它。这些数据可以在后面通过av_free_packet()来释放。
avcodec_decode_video()：把包转换为帧。然而当解码一个包的时候，我们可能没有得到我们需要的关于帧的信息。因此，当我们得到下一帧的时候，avcodec_decode_video()为我们设置了帧结束标志frameFinished。

8）释放内存
 

fclose(fp_yuv);

av_frame_free(&frame);
avcodec_close(pCodeCtx);
avformat_free_context(pFormatCtx);

(*env)->ReleaseStringUTFChars(env,input_jstr,input_cstr);
(*env)->ReleaseStringUTFChars(env,output_jstr,output_cstr);

使用 av_free 来释放我们使用av_frame_alloc和av_malloc来分配的内存。

7、调用

public class MainActivity extends Activity {

	@Override
	protected void onCreate(Bundle savedInstanceState) {
		super.onCreate(savedInstanceState);
		setContentView(R.layout.activity_main);
	}
	public void decode(View btn){
		String input = new File(Environment.getExternalStorageDirectory()+"/mnt/shared/Other/","input.mp4").getAbsolutePath();
		String output = new File(Environment.getExternalStorageDirectory()+"/mnt/shared/Other/","output_1280x720_yuv420p.yuv").getAbsolutePath();
		VideoUtils.decode(input, output);
	}
}

以上就是使用FFmpeg实现视频解码的整个过程，不同的项目需求不一样，但是解码流程基本一致，你可以在读取数据时做一些处理，符合自己的项目需求。

原文 NDK开发--FFmpeg视频解码 - 掘金

★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。

见下方!↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓

猜你喜欢

转载自blog.csdn.net/yinshipin007/article/details/131215671
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
循环神经网络（rnn）讲解
Tigao教程四：单独的关节运动
金蝶K3WISE15.0-注册套打教程
如何在Mac上配置Kubernetes
Android应用结束自身进程的方法
SpringMVC学习 十三 拦截器栈
中国驻洛杉矶总领馆举行新春招待会
HttpClient get post 发送
11 - three.js 笔记 - 绘制三维字体模型
Mysql递归获取某个父节点下面的所有子节点和子节点上的所有父节点
每日归档
更多
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022