【干货】关于软解(ffmpeg)和硬解(MediaCodec、MediaPlayer)以及底层(OpenMax)的那点事

现在各种视频软件上都有硬解软解这两个选择,但它们有什么区别呢?用哪个好呢?今天就跟随小编一起了解了解吧。

首先,了解下播放视频的基本流程:

解封装:就是将输入的封装格式的数据,分离成为音频流压缩编码数据和视频流压缩编码数据。如上图,将MP4和FLV格式解封装成视频数据H264、MPEG2和音频数据AAC、MP3格式。

解码:就是将视频/音频压缩编码数据,解码成为非压缩的视频/音频原始数据。如上图,将视频数据解码成YUV格式和音频数据解码成PCM格式。

视音频同步:就是根据解封装模块处理过程中获取到的参数信息,同步解码出来的视频和音频数据,并将视频音频数据送至系统的显卡和声卡播放出来。

所谓的软解硬解也就是在解码方式上的区别。下面我们说说软件硬解到底是什么,各有什么优缺点。

概述

软件解码:即通过软件让CPU来对视频进行解码处理;

硬件解码:是将原来全部交由CPU来处理的视频数据的部分交由GPU来做。

优缺点

硬解码效率非常高,这样不但能够减轻CPU的负担,还有着低功耗,发热少等特点。但是,由于硬解码起步比较晚,软件和驱动对他的支持度很低,往往会出现兼容性不好的问题。此外,硬解码的滤镜、字幕、画质方面都做的不够理想。

软解码需要对大量的视频信息进行运算,所以对CPU处理性能的要求非常高。巨大的运算量就会造成转换效率低,发热量高等问题。不过,软解码不需要过多的硬件支持,兼容性非常高。而且软解码拥有丰富的滤镜,字幕,画面处理优化等效果,只有你CPU够强悍,就能够实现更加出色的画面效果。

实现方式

软解码

我们最最常见的视频软解码开源库就是FFmpeg。目前基于FFmpeg的开源播放器有B站的ijkplayer。

ijkplayer的开源地址 : https://github.com/bilibili/ijkplayer

从下图中可以看到,ijkplayer内部利用了ffmpeg解码库。

基于ffmpeg实现主要接口

//创建ffmpeg codec,在ffmpeg中是根据codecid(aac,h264等注册的id)寻找合适的decoder,返回AVCodec对象
avcodec_find_decoder

/*这函数创建decode的context,返回的codecContext包含解码器所需要的各种配置信息,比如
  对于aac decode,context可以用来设置sample_rate,channels,profile等
  对于h264 decode,context可以用来设置width,height等*/
avcodec_alloc_context3

//用已经配置好的decoder的context,来configure解码器codec
avcodec_open2

//初始化一个pkt用于接收待解码的数据,用demux输出的数据,填充pkt的data,设置pkt的flag(是否包含key frame等)
av_init_packet(AVPacket *pkt)

//将填充满的pkt,发送给解码器
avcodec_send_packet

//从解码器接收decode后的数据,填充到AVFrame中。
avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame)

硬解码

MediaCodec

MediaCodec是安卓自带的视频编解码接口,由于使用的是硬解码,其效率相对FFMPEG高出来不少。而MediaCodec就很好拓展,我们可以根据流媒体的协议和设备硬件本身来自定义硬件解码,代表播放器就是Google的ExoPlayer。

ExoPlayer的开源地址 : https://github.com/google/ExoPlayer

基本流程:

  • 1.创建和配置MediaCodec对象
  • 2.进行以下循环:
  •     如果一个输入缓冲区准备好:
  •     读取部分数据,复制到缓冲区
  •     如果一个输出缓冲区准备好:
  •     复制到缓冲区
  • 3.销毁MediaCodec对象

接口如下:

//根据视频编码创建解码器,这里是解码AVC编码的视频
MediaCodec mediaCodec =MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
//创建视频格式信息
MediaFormat mediaFormat = MediaFormat.createVideoFormat(mimeType, width, height);
//配置
mediaCodec.configure(mediaFormat, surfaceView.getHolder().getSurface(), null, 0);
mediaCodec.start();
//停止解码,此时可以再次调用configure()方法
mediaCodec.stop();
//释放内存
mediaCodec.release();
//一下是循环解码接口
getInputBuffers:获取需要编码数据的输入流队列,返回的是一个ByteBuffer数组 
queueInputBuffer:输入流入队列 
dequeueInputBuffer:从输入流队列中取数据进行编码操作 
getOutputBuffers:获取编解码之后的数据输出流队列,返回的是一个ByteBuffer数组 
dequeueOutputBuffer:从输出队列中取出编码操作之后的数据 
releaseOutputBuffer:处理完成,释放ByteBuffer数据 

用MediaCodec来实现的话,代码中主要通过上面的接口实现了媒体的播放过程。

实例可以参考:

https://blog.csdn.net/u014653815/article/details/81084161

下图是MediaCodec调用createDecoderByType创建过程。

由上图可知,MediaCodec并不是真正的codec,真正codec是在openMax。

OpenMax是一个多媒体应用程序的框架标准,通过使媒体加速组件能够在开发、集成和编程环节中实现跨多操作系统和处理器硬件平台,提供全面的流媒体编解码器和应用程序便携化。Android的多媒体引擎OpenCore和StageFright都可以使用OpenMax作为插件,主要用于编解码(Codec)处理。

下面我来看看硬件厂商又是如何将自己硬解码代码加载到OpenMax框架中的?

在加载软解码库的代码中,可以看到有加载libstagefrighthw.so的代码,其是加载硬件解码plugin,每个平台都有自己libstagefrighthw.so的实现,以实现硬编解码。

MediaPlayer

MediaPlayer是Android中的一个多媒体播放类,我们能通过它控制音视频流或本地音视频资源的播放过程。

以下是mediaPlayer接口:

MediaPlayer mediaPlayer = new MediaPlayer();
mediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC);
mediaPlayer.setDataSource(url);
mediaPlayer.prepare(); // might take long! (for buffering, etc)
mediaPlayer.start();

用MediaPlayer来实现的话,代码中主要通过5个步骤实现了媒体的播放功能。底层是如何实现的呢?下面我们就来看看。

不同的平台,硬件厂商也会实现自己的播放器。下图是MediaPlayer框架图:

MediaPlayer通过Binder通信,最后调用到MediaPlayerService(由于篇幅问题,其过程这里就不展开讲了,可以参考小编的另一篇文章:【android系统】binder通信机制--记一次项目开发中用到的实例)。这里以Hiplayer为例,展开说明下厂商是如何在android 的 mediaplayer中注入自己播放器的。

从上图中可以看到,海思自己实现了一个HiMediaPlayerManage,然后实现了HiMediaPlayerFactory来创建HiMediaPlayerManage,HiMediaPlayerFactory是在MediaPlayerFactory中被注册进去的。这样就完成了厂商自己播放器注入到android框架中去。

MediaPlayerFactory也是使用了android设计模式中经典的工厂模式(如果有兴趣关注我们,回复"android设计模式")。

HiMediaPlayerFactory都实现了IFactory的接口,其中最重要的是ScoreFactory和CreatePlayer。其中ScoreFactory是根据播放类型参数来选择播放方式,CreatePlayer创建播放器。

HiMediaPlayerManage就是播放器的具体实现了,用来对接Android标准的MediaPlayer接口。

结束语

在Android设备硬件支持的情况下优先使用Android设备的硬件解码,减少CPU的占用,更加省电。

在Android设备硬解不支持的情况下选择使用软解码,不管怎么样,视频至少能够播放,具有更好的适应性,但是增加了CPU的占用,更加费电,软硬结合才是王道,根据实际情况合理选择。

读完了这篇文章,是否对视频应用的软解硬解有了了解呢?赶紧去试下软解硬解功能吧,你更喜欢哪一个?欢迎大家扫描关注下方二维码和我分享交流吧!也欢迎大家下方留言评论,谢谢!

å¨è¿éæå¥å¾çæè¿°

- END -

干货满满!关注一下呗~

发布了61 篇原创文章 · 获赞 45 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/twk121109281/article/details/89138441
今日推荐