gstreamer 调度模式(pull/push)

    gst将实际应用的每个功能模块抽象成元件,元件之间的连接是通过绑定在上面的pad来实现的。所以需要了解下具体数据是如何从一个元件流向另一个元件的。数据的流向可以从上游流向下游, 也可以下游去上游取。这两种方式分别对应的就是push mode 和pull mode。

6.1 push模式(以视频解码显示为例)

    大部分情况下都是工作在push mode。 所以重点介绍下 push mode,所谓的流向 实际上将上游元件的buffer指针传入到 下游元件的特定 函数, 这个函数就是 元件pad 上面的一个chain函数。

任意工作在push模式的两个元件,必须要有的步骤分别是

1、调用gst_pad_link_full (GstPad * srcpad, GstPad * sinkpad, GstPadLinkCheck flags)

将当前srcpad 和下游的sink pad连接起来 这个函数就将srcpad的peer指定为 sinkpad,将sinkpad的peer指定为srcpad。

2、调用 gst_pad_set_chain_function 设置下游element sink pad 的chain函数 

3、在当前元件的chain(或者其他)函数中调用gst_pad_push 将当前元件中处理好的buffer push到下游元件。gst_pad_push 函数是调用的当前srcpad的peer 即下游 sinkpad的chain函数。这样就完成两个element间的push工作,这样从一个elemnt push到另一个,就可以完成整个解码显示的过程。

以hevc解码为例(multiqueue ----> decoder ----> video_sink)

 

     loop中mutiqueue 将上游parse的buffer 调用gst_pad_push push到下游decoder上,即调用decoder的chain函数。从之前GLIB那边知道,GstFFMpegVidDec 是继承的是gstvideodecoder,gstvideodecoder只是实现了接口,具体是调用子类的实现 。所以调用到了gstvideodecoder的chain chain里面 调用 子类的decoder_class->handle_frame 而在gstavvidec 中  调用的是gst_ffmpegviddec_handle_frame,handle_frame 则调用的是ffmpeg的接口avcodec_decode_video2 来进行解码   这一接口就完成parse hal操作,利用硬解将buffer解码完成, 完成之后调用 gst_video_decoder_finish_frame将解码后的buffer push到下游 video-sink。

 

 

从playbin那知道,这个时候的video-sink 实际上是kms-sink

同样gstkmssink 继承至gstbasesink。 gstbasesink定义了一堆有关显示的接口,由子类 gstkmssink来实现。在gstbasesink的chain函数 依据音频的时间  来进行同步,同步后调用子类gstkmssink的render函数 将视频显示到设备上。其中kmsink 调用的是比较底层的接口 drmModeSetPlane,传入的是需要的plan id, 设备的id ,buffer 的id 以及buffer 的起始坐标和宽高, 目标设备的起始坐标和宽高。

6.2 pull模式(以数据的读取 解封装为例)

pull模式的前提是 当前元件的sink pad 设置了active 的函数,并且上游元件实现了gst_XXX__getrange函数

1、 如何确认某个element是工作在pull模式 还是 push 模式

首先在上层应用改变playbin的状态 ,changeState会根据sink到source的顺序改变bin中元件的状态, 当元件的状态从READY--->PAUSE 改变的时候,gst core的gstbin中 会将调用bin中每个element pad 的 active function,以便于准备数据的流动。 一个组件的pad active 顺序是从source pad 到sink pad。这个是为了保证sinkpad 准备好能够接收数据的时候, sourcepad已经能够将数据推送到下游。pull pads 的方式 是 当前元件的sink pad 调用gst_pad_pull_range()来从上游的srcpad 请求数据。sink pad 是决定当前元件是工作在 pull 还是push模式, 所以要先看当前element的sink pad的 active函数, 如果当前的sink pad没有设置active函数,那么sink pad的active就采用默认的active,这种情况下就是工作在push模式下。如果sink pad 设置了active的函数  在active的函数里面 的任务是:

生成一个调度模式的查询事件, 将这一查询事件push到peer pad(即 上游元件的srcpad),获取查询之后放回的mode如果是pull mode 将sink pad active在 pull的模式 即调用 sink_activate_mode 函数

 

2、 工作在pull模式的数据是怎么流动

如果是pull mode的话,起一个task,里面会调用上游的pull_range函数获取数据,获取数据后就进行demux处理,处理之后调用gst_pad_push push到下游元件中。

 

3、以typefind element为例

gsttypefindelement.c中在gst_type_find_element_activate_sink函数中调用gst_pad_peer_query (pad, query)这个会调用peer 也就是gstbasesrc 的  gst_base_src_default_query (GstBaseSrc * src, GstQuery * query)。在这里面会判断当前的元件是否支持随机访问 支持的话,那么返回MODE_PULL.gst_query_add_scheduling_mode (query, GST_PAD_MODE_PULL);

返回MODE_PULL到activate sink。activate sink 调用 起一个task  来pull数据进行处理,pull也就是 调用的peer即srcpad的getrange GST_PAD_GETRANGEFUNC (peer)。srcpad的getrange 在gstbasesrc中进行设置

gst_pad_set_getrange_function (pad, gst_base_src_getrange)。gst_base_src_getrange这里面就调用到gstfilesrc的接口来进行读取文件

综上所述 工作在pull模式需要具备的条件:

1、

对于当前的元件而言:要实现sink activate的函数

  gst_pad_set_activate_function (demux->common.sinkpad,

      GST_DEBUG_FUNCPTR (gst_matroska_demux_sink_activate));

sink activate的任务是查询上游的srcpad 支不支持 pull 模式

2、

在上游元件端  需要对下游发上来的query进行处理 并返回查询的结果。

然后 设置srcpad 的getrange_function 供sinkpad 调用 

 gst_pad_set_getrange_function (typefind->src,

      GST_DEBUG_FUNCPTR (gst_type_find_element_getrange));

 

3、当前元件在自己的chain函数 或者 loop 中调用gst_pad_pull_range 来读取数据

猜你喜欢

转载自blog.csdn.net/H2008066215019910120/article/details/112566242