1.OBS的初始化程序中,
首先会调用ResetVideo,执行顺序如下:
(1).ResetVideo—>(2).AttemptToResetVideo—>(3).obs_reset_video—>(4).obs_init_video—>(5).video_output_open—>(6).if (pthread_create(&out->thread, NULL, video_thread, out) != 0)
最后创建了video_thread,我们看看video_thread线程的处理流程:
在video_thread中,一直等待update_semaphore后,这个信号是采集到视频图像后post出来的;
obs_video_thread—>output_frame—>output_video_data—>video_output_unlock_frame—>update_semaphore;
可以看到在obs_video_thread线程中,通知video_thread线程对采集的数据编码推流;
后面再分析具体分析下obs_video_thread线程,先看看win-dshow如何采集视频的:
首先在win-dshow.cpp中主要实现音视频采集功能:
通过UpdateVideoConfig中注册OnVideoData函数,UpdateVideoConfig在device.cpp中,用dshow接口会调HDevice::Receive接口将获取的音视频回调。
在device.cpp中,SetupVideoCapture,而在这个函数中会调用:
videoCapture = new CaptureFilter(info);
初始化一个采集过滤器,videoCapture对象中包含了一个pin的成员对象,该成员对象实现了Receive函数:
STDMETHODIMP CapturePin::Receive(IMediaSample *pSample)
{
if (flushing)
return S_FALSE;
if (pSample)
captureInfo.callback(pSample);
return S_OK;
}
本文福利,免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,srs)↓↓↓↓↓↓见下面↓↓文章底部↓↓
在SetupVideoCapture中会调用下面语句注册接收回调:
info.callback = [this] (IMediaSample *s) {Receive(true, s);};
在device的Receive处理函数中,首先通过GetPointer获取到数据指针,然后调用GetTime获取数据的时间,再调用SendToCallback传到device的videoConfig.callback中处理,而videoConfig.callback是在UpdateVideoConfig中被注册的,后面再详细看这个接口如何被调用的;
device.cpp中通过SetupVideoCapture注册回调,然后Receive回调中通过SendToCallback将采集的数据发送到videoConfig.callback中处理;
videoConfig.callback注册的其实是一个叫OnVideoData的回调函数:
在OnVideoData中调用obs_source_output_video(source, &frame);将采集的数据传到DShowInput的source的async_cache和async_frames中;
然后source->async_active = true;将异步队列置为活跃状态;
到这里,我们的数据已经采集,并放到队列里面了,下面就是送显示:
obs-source.c中,有两个关键函数:
get_closest_frame、obs_source_get_frame及一个关键变量:cur_async_frame
在win-dshow中将采集到的音视频数据存入source的async_frames中后,通过obs_video_thread线程,每隔一段时间调用get_closest_frame从source的。
async_frames中获取到最近的帧,然后放到source的cur_async_frame指针中,obs_source_get_frame函数就是获取cur_async_frame返回;
obs_source_get_frame被obs_source_update_async_video调用;
在obs_source_update_async_video中,会先给帧加上滤镜特效(filter_async_video),然后
set_async_texture_size函数好像是执行绘画系统的初始化,接着update_async_texture中调用update_async_texrender进行图像绘制,
update_async_texrender会调用upload_raw_frame和gs_texture_set_image设置好绘制的图像信息,后面的绘制详细过程,需要了解d3d11及opengl,这里后面再研究吧;
通过查看update_async_texture调用的位置可以发现,其实source结构中还包含了绘制结构描述,async_texture和async_texrender;
我们回过头来看obs_source_update_async_video函数,它是在render_video中被调用的,而render_video的参数只有一个source,该函数应该就是负责数据源的绘制的;
而render_video在output_frame中被调用,如上面分析output_frame也在obs_video_thread中被调用;
现在再回头梳理一下:
obs_video_thread的流程:
tep1:调用tick_sources获取捕获的视频帧cur_async_frame;
Step2:调用render_display进行绘制,通过一系列回调(通过obs_display_add_draw_callback加入display中),最终绘制时在render_video函数中执行;
Step3: 调用output_frame,通过output_video_data告知video_thread新数据到来。
video_thread线程中的流程:
Step1: 等到数据到来,最终调用receive_video函数进行编码;
Step2: receive_video中调用do_encode对数据进行编码;
Step3: 然后在do_encode中还调用send_packet对数据执行发送。
原文链接:OBS视频采集流程分析 - 资料 - 我爱音视频网 - 构建全国最权威的音视频技术交流分享论坛
本文福利,免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,srs)↓↓↓↓↓↓见下面↓↓文章底部↓↓