技术背景
我们在对接开发者的时候，遇到这样的诉求：除了正常的RTMP、RTSP直播播放外，有些硬件设备输出编码后（H.264/H.265）的数据，比如无人机或类似硬件产品，回调出来的H.264/H.265数据，除了正常转推到RTMP、轻量级RTSP服务或GB28181外，还需要本地预览甚至重新对数据做二次处理，基于这样的场景诉求，我们开发了外部编码后数据实时预览播放模块。
接口设计
废话不多说，外部H.264/H.265投递接口设计如下：
// SmartPlayerJniV2.java
// Author: daniusdk.com
/**
* 投递视频包给外部Live Source
*
* @param codec_id: 编码id, 当前仅支持H264和H265, 1:H264, 2:H265
*
* @param packet: 视频数据, ByteBuffer必须是DirectBuffer, 包格式请参考H264/H265 Annex B Byte stream format, 例如:
* 0x00000001 nal_unit 0x00000001 ...
* H264 IDR: 0x00000001 sps 0x00000001 pps 0x00000001 IDR_nal_unit .... 或 0x00000001 IDR_nal_unit ....
* H265 IDR: 0x00000001 vps 0x00000001 sps 0x00000001 pps 0x00000001 IDR_nal_unit .... 或 0x00000001 IDR_nal_unit ....
*
* @param offset: 偏移量
* @param size: packet size
* @param timestamp_ms: 时间戳, 单位毫秒
* @param is_timestamp_discontinuity: 是否时间戳间断，0:未间断，1:间断
* @param is_key: 是否是关键帧, 0:非关键帧, 1:关键帧
* @param extra_data: 可选参数，可传null, 对于H264关键帧包, 如果packet不含sps和pps, 可传0x00000001 sps 0x00000001 pps
* ,对于H265关键帧包, 如果packet不含vps,sps和pps, 可传0x00000001 vps 0x00000001 sps 0x00000001 pps
* @param extra_data_size: extra_data size
* @param width: 图像宽, 可传0
* @param height: 图像高, 可传0
*
* @return {0} if successful
*/
public native int PostVideoPacketByteBuffer(long handle, int codec_id,
java.nio.ByteBuffer packet, int offset, int size, long timestamp_ms, int is_timestamp_discontinuity, int is_key,
byte[] extra_data, int extra_data_size, int width, int height);
/*
* 请参考 PostVideoPacketByteBuffer说明
*/
public native int PostVideoPacketByteArray(long handle, int codec_id,
byte[] packet, int offset, int size, long timestamp_ms, int is_timestamp_discontinuity, int is_key,
byte[] extra_data, int extra_data_size, int width, int height);
PostVideoPacketByteBuffer()和PostVideoPacketByteArray()接口设计基本类似，唯一的区别在于，一个数据类型是ByteBuffer，一个是byte数组。
其中codec_id，系编码id，目前仅支持H.264和H.265类型。
packet视频数据，需要注意的是，ByteBuffer必须是DirectBuffer, 包格式请参考H264/H265 Annex B Byte stream format, 例如:
0x00000001 nal_unit 0x00000001 ...
H264 IDR: 0x00000001 sps 0x00000001 pps 0x00000001 IDR_nal_unit .... 或 0x00000001 IDR_nal_unit ....
H265 IDR: 0x00000001 vps 0x00000001 sps 0x00000001 pps 0x00000001 IDR_nal_unit .... 或 0x00000001 IDR_nal_unit ....
extra_data: 可选参数，可传null, 对于H264关键帧包，如果packet不含sps和pps，可传0x00000001 sps 0x00000001 pps，对于H265关键帧包，如果packet不含vps,sps和pps, 可传0x00000001 vps 0x00000001 sps 0x00000001 pps
调用逻辑
下面我们看看逻辑调用，本文基于大牛直播SDK的RTSP|RTMP转RTMP推送demo做展示，先拉取到RTSP或RTMP的流数据，然后把拉取到的H.264/H.265数据回调上来，调用我们外部live source数据接口，投递到底层，实现实时数据的播放，如果外部数据，可以忽略拉流这块，直接在数据回调的地方，调live source数据投递接口即可。
数据投递：
public void onVideoDataCallback(int ret, int video_codec_id, int sample_size, int is_key_frame, long timestamp, int width, int height, long presentation_timestamp)
{
//Log.i("onVideoDataCallback", "ret: " + ret + ", video_codec_id: " + video_codec_id + ", sample_size: " + sample_size + ", is_key_frame: "+ is_key_frame + ", timestamp: " + timestamp +
// ",presentation_timestamp:" + presentation_timestamp);
if ( video_buffer_ == null)
return;
video_buffer_.rewind();
if (0 == ret && ex_live_src_player_handle_ !=0) {
libPlayer.PostVideoPacketByteBuffer(ex_live_src_player_handle_, video_codec_id, video_buffer_, 0, sample_size, timestamp, 0, is_key_frame, null,0, 0, 0);
}
}启动外部数据播放：
可以看到，外部数据可以用软解码或硬解码播放，如果分辨率很大可以考虑特定机型硬解码，外部数据播放，依然可以设置铺满或按比例显示。如果需要针对数据做二次处理，也可以把设置RGB或YUV数据回调，对回调后的数据做二次处理，甚至二次编码（如做视频分析、实时水印等）。
private long start_ex_live_src_player(SmartPlayerJniV2 lib_player, Context context, SurfaceView surface_view, boolean is_hardware_decoder) {
if (null ==lib_player || null == context || null == surface_view)
return 0;
long handle = lib_player.SmartPlayerOpen(context);
if (0 == handle) {
Log.e(TAG, "start_ex_live_src_player open player failed");
return 0;
}
// 设置0, 尽可能降低预览延时
lib_player.SmartPlayerSetBuffer(handle, 0);
lib_player.SmartPlayerSetUrl(handle, "ntexternal://livesource/implemention0");
lib_player.SmartPlayerSetSurface(handle, surface_view);
// 图像等比例缩放或铺满view
lib_player.SmartPlayerSetRenderScaleMode(handle, 1);
lib_player.SmartPlayerSetFastStartup(handle, 1);
// 不要播放音频，静音就好
lib_player.SmartPlayerSetMute(handle, 1);
// 大分辨率可能需要硬解，小分辨率推荐软解，硬解延时可能大些
if (is_hardware_decoder) {
lib_player.SetSmartPlayerVideoHevcHWDecoder(handle, 1);
lib_player.SetSmartPlayerVideoHWDecoder(handle, 1);
}
// 有些场景可能需要解码出来的图像用来做分析或重新编码
// 这里可以设置yuv或rgb callback, 把图像给Caller
// lib_player.SmartPlayerSetExternalRender(handle, new RGBAExternalRender());
// lib_player.SmartPlayerSetExternalRender(handle, new I420ExternalRender());
if (0 == lib_player.SmartPlayerStartPlay(handle))
return handle;
lib_player.SmartPlayerClose(handle);
return 0;
}
停止外部数据播放：
private void stop_ex_live_src_play(SmartPlayerJniV2 lib_player, long handle) {
if (null == lib_player)
return;
if (0 == handle)
return;
lib_player.SmartPlayerStopPlay(handle);
lib_player.SmartPlayerClose(handle);
}总结
Android平台外部编码后H.264/H.265数据实时预览播放，在一些传统行业里面，可以说是意义非常大，除了可以预览回调过来的数据外，还可以针对外部数据做二次视频分析、二次编辑投递（实时水印、字符叠加等），感兴趣的开发者可以试试看。