OBS视频采集流程分析

1.OBS的初始化程序中,

首先会调用ResetVideo,执行顺序如下:

(1).ResetVideo—>(2).AttemptToResetVideo—>(3).obs_reset_video—>(4).obs_init_video—>(5).video_output_open—>(6).if (pthread_create(&out->thread, NULL, video_thread, out) != 0)

最后创建了video_thread,我们看看video_thread线程的处理流程:

在video_thread中,一直等待update_semaphore后,这个信号是采集到视频图像后post出来的;

obs_video_thread—>output_frame—>output_video_data—>video_output_unlock_frame—>update_semaphore;

可以看到在obs_video_thread线程中,通知video_thread线程对采集的数据编码推流;

后面再分析具体分析下obs_video_thread线程,先看看win-dshow如何采集视频的:

首先在win-dshow.cpp中主要实现音视频采集功能:

通过UpdateVideoConfig中注册OnVideoData函数,UpdateVideoConfig在device.cpp中,用dshow接口会调HDevice::Receive接口将获取的音视频回调。

在device.cpp中,SetupVideoCapture,而在这个函数中会调用:

videoCapture = new CaptureFilter(info);

初始化一个采集过滤器,videoCapture对象中包含了一个pin的成员对象,该成员对象实现了Receive函数:

STDMETHODIMP CapturePin::Receive(IMediaSample *pSample)

{

if (flushing)

return S_FALSE;

if (pSample)

captureInfo.callback(pSample);

return S_OK;

}

本文福利,免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部↓↓

在SetupVideoCapture中会调用下面语句注册接收回调:

info.callback = [this] (IMediaSample *s) {Receive(true, s);};

在device的Receive处理函数中,首先通过GetPointer获取到数据指针,然后调用GetTime获取数据的时间,再调用SendToCallback传到device的videoConfig.callback中处理,而videoConfig.callback是在UpdateVideoConfig中被注册的,后面再详细看这个接口如何被调用的;

device.cpp中通过SetupVideoCapture注册回调,然后Receive回调中通过SendToCallback将采集的数据发送到videoConfig.callback中处理;

videoConfig.callback注册的其实是一个叫OnVideoData的回调函数:

在OnVideoData中调用obs_source_output_video(source, &frame);将采集的数据传到DShowInput的source的async_cache和async_frames中;

然后source->async_active = true;将异步队列置为活跃状态;

到这里,我们的数据已经采集,并放到队列里面了,下面就是送显示:

obs-source.c中,有两个关键函数:

get_closest_frame、obs_source_get_frame及一个关键变量:cur_async_frame

在win-dshow中将采集到的音视频数据存入source的async_frames中后,通过obs_video_thread线程,每隔一段时间调用get_closest_frame从source的。

async_frames中获取到最近的帧,然后放到source的cur_async_frame指针中,obs_source_get_frame函数就是获取cur_async_frame返回;

obs_source_get_frame被obs_source_update_async_video调用;

在obs_source_update_async_video中,会先给帧加上滤镜特效(filter_async_video),然后

set_async_texture_size函数好像是执行绘画系统的初始化,接着update_async_texture中调用update_async_texrender进行图像绘制,

update_async_texrender会调用upload_raw_frame和gs_texture_set_image设置好绘制的图像信息,后面的绘制详细过程,需要了解d3d11及opengl,这里后面再研究吧;

通过查看update_async_texture调用的位置可以发现,其实source结构中还包含了绘制结构描述,async_texture和async_texrender;

我们回过头来看obs_source_update_async_video函数,它是在render_video中被调用的,而render_video的参数只有一个source,该函数应该就是负责数据源的绘制的;

而render_video在output_frame中被调用,如上面分析output_frame也在obs_video_thread中被调用;

现在再回头梳理一下:

obs_video_thread的流程:

tep1:调用tick_sources获取捕获的视频帧cur_async_frame;

Step2:调用render_display进行绘制,通过一系列回调(通过obs_display_add_draw_callback加入display中),最终绘制时在render_video函数中执行;

Step3: 调用output_frame,通过output_video_data告知video_thread新数据到来。

video_thread线程中的流程:

Step1: 等到数据到来,最终调用receive_video函数进行编码;

Step2: receive_video中调用do_encode对数据进行编码;

Step3: 然后在do_encode中还调用send_packet对数据执行发送。

原文链接:OBS视频采集流程分析 - 资料 - 我爱音视频网 - 构建全国最权威的音视频技术交流分享论坛

本文福利,免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部↓↓

猜你喜欢

转载自blog.csdn.net/m0_60259116/article/details/125623167