MediaCodec 音视频同步 MediaSync

MediaSync是android M新加入的API，可以帮助应用视音频的同步播放

MediaSync的基本用法

第一步：初始化MediaSync, 初始化mediaCodec和AudioTrack, 将AudioTrack和surface传给MeidaSync

MediaSync sync = new MediaSync();
sync.setSurface(mSurface);
Surface inputSurface = sync.createInputSurface();


mVideoMediaCodec.configure(mediaFormat,inputSurface,null,0);
sync.setAudioTrack(audioTrack);

第二步： MediaSync设置回调接口

MediaSync只会对audio的buffer做操作，一个是代表写入的queueAudio方法，一个是代表写完了的回调方法

sync.setCallback(new MediaSync.Callback() {
            @Override
            public void onAudioBufferConsumed(@NonNull MediaSync sync,
                    @NonNull ByteBuffer audioBuffer, int bufferId) {
                Log.e("TAG","onAudioBufferConsumed");
                mAudioMediaCodec.releaseOutputBuffer(bufferId, true);
            }
        },null);

第三步：设置播放速度

sync.setPlaybackParams(new PlaybackParams().setSpeed(1.0f));

第四步：在异步回调中处理

@Override
    public void onOutputBufferAvailable(@NonNull MediaCodec codec, int index,
            @NonNull MediaCodec.BufferInfo info) {
        String type = codec.getInputFormat().getString(MediaFormat.KEY_MIME);
        if (type.contains("video")) {
            codec.releaseOutputBuffer(index, 1000 * info.presentationTimeUs);
        } else{
            Log.e("TAG","queueAudio");
            ByteBuffer outputBuffer = codec.getOutputBuffer(index);
            sync.queueAudio(outputBuffer, index, info.presentationTimeUs);
        }
    }

第五步：播放完毕，释放资源

sync.setPlaybackParams(new PlaybackParams().setSpeed(0.f));
sync.release();
sync = null;