obs之庖丁解牛



在obs初始化时会根据直播源类型对数据做一个分类,每一类数据对应相应的channelID,如 scene 对应的 channelID 为 0,麦克风对应的 channelID 为3,目前默认配置了6 个通道,分别用于 scene 、桌面音响、麦克风,最大可拓展为64个:

obs 在初始化时会开启一个 video 和 audio 线程用于定时更新数据,以vide o为例,对于每一个预览界面,首先会 new 一个 display 对象用于关联UIcallback 函数和 video 线程,直播时 video 线程定时更新会调用 UIcallbac k函数,触发场景和 UI 的绘制与刷新。大概流程如下:

(黄色代表线程,蓝色代表对象)

最终渲染会传递到每个scene_item,每个scene_item会绑定一个 texture,texture 对应的便是主播看见的直播画面,在调用 callback 之前会先调用 dx 或 opengl 更新这个 texture 。texture 绘制的顺序跟scene_item的顺序有关,scene_item以链表的形式串联起来,采用尾部插入的方式置入新直播源,外在展现便是越晚置入的直播源数据越在上层,主播调整直播源数据的顺序也就是调整链表的顺序。

4、直播源数据推流

有了直播源数据,主播端可以看见渲染的直播缓慢。但这还不够,只有推送到后台才能展现给更多的观看用户。在直播源推送时会首先创建推流 video 和 audio 的 encoder 对象,并创建 output 对象管理 encode r对象,绑定 encoder 对象与 video 、audio 数据源最后使用 rtmp 或者 flv 推流,关系如下:

对于目前常见的 rtmp 推流过程,主要分为三个步骤:

  • 创建connect线程连接服务器,初始化rtmp模块;

  • 连接服务器成功后创建send线程并开启hook数据;

  • send线程根据信号量来控制是否发送数据,信号量在hook时会重置;

其中 hook 数据的过程可以理解为关联数据采集和数据发送,如下图所示:

(黄色代表线程,蓝色代表对象)

video 和 audio 对象都会绑定回调函数,当 video 与 audio 线程检测到内容有更新时,会根据是否需要编码触发不同的回调函数对数据进行处理,最后序列化后通过 rtmp 打包发送到后台。

总结:

obs的整个开播过程都是围绕数据源展开的,代码核心部分由C语言编写,UI层则用的C++11。数据更新回调较多,除了QT的singal和slot的通信机制,也有一部分是作者自己的,看代码时全局关联会比较容易懂,如果对obs有兴趣的同学可以一起学习交流。

在obs初始化时会根据直播源类型对数据做一个分类,每一类数据对应相应的channelID,如 scene 对应的 channelID 为 0,麦克风对应的 channelID 为3,目前默认配置了6 个通道,分别用于 scene 、桌面音响、麦克风,最大可拓展为64个:

obs 在初始化时会开启一个 video 和 audio 线程用于定时更新数据,以vide o为例,对于每一个预览界面,首先会 new 一个 display 对象用于关联UIcallback 函数和 video 线程,直播时 video 线程定时更新会调用 UIcallbac k函数,触发场景和 UI 的绘制与刷新。大概流程如下:

(黄色代表线程,蓝色代表对象)

最终渲染会传递到每个scene_item,每个scene_item会绑定一个 texture,texture 对应的便是主播看见的直播画面,在调用 callback 之前会先调用 dx 或 opengl 更新这个 texture 。texture 绘制的顺序跟scene_item的顺序有关,scene_item以链表的形式串联起来,采用尾部插入的方式置入新直播源,外在展现便是越晚置入的直播源数据越在上层,主播调整直播源数据的顺序也就是调整链表的顺序。

4、直播源数据推流

有了直播源数据,主播端可以看见渲染的直播缓慢。但这还不够,只有推送到后台才能展现给更多的观看用户。在直播源推送时会首先创建推流 video 和 audio 的 encoder 对象,并创建 output 对象管理 encode r对象,绑定 encoder 对象与 video 、audio 数据源最后使用 rtmp 或者 flv 推流,关系如下:

对于目前常见的 rtmp 推流过程,主要分为三个步骤:

  • 创建connect线程连接服务器,初始化rtmp模块;

  • 连接服务器成功后创建send线程并开启hook数据;

  • send线程根据信号量来控制是否发送数据,信号量在hook时会重置;

其中 hook 数据的过程可以理解为关联数据采集和数据发送,如下图所示:

(黄色代表线程,蓝色代表对象)

video 和 audio 对象都会绑定回调函数,当 video 与 audio 线程检测到内容有更新时,会根据是否需要编码触发不同的回调函数对数据进行处理,最后序列化后通过 rtmp 打包发送到后台。

总结:

obs的整个开播过程都是围绕数据源展开的,代码核心部分由C语言编写,UI层则用的C++11。数据更新回调较多,除了QT的singal和slot的通信机制,也有一部分是作者自己的,看代码时全局关联会比较容易懂,如果对obs有兴趣的同学可以一起学习交流。

猜你喜欢

转载自blog.csdn.net/qq_35970739/article/details/80630972