在学习笔记3中，我们学习了会议桥，了解了会议桥的相关机制
1）会议桥具有多个conf_port, 使用ports[]数组保存
2）会议桥实现了一个叫做master_port的pjmedia_port, 占用ports[0]的conf_port资源
3）会议桥可能会创建一个pmedia_snd_port对象, 通过pjmedia_snd_port_connect，连接到master_port，打通了声卡设备到会议桥的数据通道
4) 会议桥除ports[0]的conf_port端口，都可以连接到一个pmedia_port对象，实现与外部的音频数据的交换
5）会议桥所有的conf_port端口， 可以通过pjmedia_conf_connect_port调用建立连接关系， 连接是多对多的关系
当conf_port[0]作为监听端口 具有多个源conf_port端口时， 监听master_port上就会进行混音操作
因为会议桥代码提供的get_frame()只供master_port接口使用， 所以会议桥内部混音操作只会发生在master_port接口的get_frame函数中
get_frame函数实际上成了混音操作的节拍器， 它会遍历每一个监听端口， 对每个监听端口进行混音， 混音结果使用write_port()->pjmedia_port_put_frame()输出。
混音其里面有个宏SIMPLE_AGC(cport->last_mix_adj, cport->mix_adj);用来实现进行混音AGC
接下来研究下连接在会议桥端口上的stream对象：
仍然参考这张图https://trac.pjsip.org/repos/wiki/media-flow#IncomingRTPRTCPPackets
本次重点放在图中位于会议桥和传输层之间的stream.c上面
一) 先研究下libpjsib提供的两个例子
在conference.c例子中， 为我们演示了一个具有file_count个play文件流，RECORDER个录制文件流的混音器
混音器总端口数=file_count + 1 + RECORDER， 对外可用的端口数为file_count + RECORDER， 内部master_port占用端口0
1) pjmedia_wav_writer_port_create + pjmedia_conf_add_port 添加了一个录制文件流
2) pjmedia_wav_player_port_create + pjmedia_conf_add_port 添加了file_count个录制文件流
3) 端口之间的连接关系通过终端控制台进行配置（pjmedia_conf_connect_port/pjmedia_conf_disconnect_port）
4) 通过pjmedia_conf_adjust_tx_level和pjmedia_conf_adjust_rx_level调整输出输入通道的音量调整范围（-128 to 127） --- 这个由猜测的成分，大概是吧， 原理还未搞明白
例子程序confbench.c则为我们演示另一个混音器， 这个混音器内部不创建pjmedia_snd_port实例（PJMEDIA_CONF_NO_DEVICE）：
status = pjmedia_conf_create( pool, PORT_COUNT, CLOCK_RATE, 1, SAMPLES_PER_FRAME, 16, PJMEDIA_CONF_NO_DEVICE, &conf);
1）会议桥端口总数为PORT_COUNT=254个
2）会议桥端口添加了NULL_COUNT=100个0数据端口： pjmedia_null_port_create + pjmedia_conf_add_port
3）会议桥端口添加了SINE_COUNT=100个正玄波端口： pjmedia_conf_add_port + pjmedia_conf_add_port
4）会议桥端口添加了IDLE_COUNT=32个0数据端口作为空闲端口： pjmedia_null_port_create + pjmedia_conf_add_port
5）获得会议端口0： pjmedia_conf_get_master_port
6）因为未启动声卡，会议桥创建一个pjmedia_master_port作为混音节拍器：pjmedia_master_port_create， 使用端口0作为下行stream端口，第一个null_port做上行stream源端口
7）启动混音节拍器master_port： pjmedia_master_port_start----将启动一个精确时钟线程作为混音节拍器
8）时钟线程每间隔指定时间， 进行一次回调（clock_callback在pjmedia_master_port定义）
在clock_callback中， 实现功能如下：
i> Get frame from upstream port and pass it to downstream port 其中upstream就是null_port[0] ,还会给从master_port端口获得的帧打上时间标签
ii> Get frame from downstream port and pass it to upstream port 而downstream就是master_port，也就是conf->master_port
通过着两个例子， 可以看到， 会议桥的各个“端口”所连接的对象， 都必须实现一个pjmedia_port接口， 端口之间的音频数据流动需要节拍器进行驱动
如果会议桥启动了pjmedia_snd_port实例,则pjmedia_snd_port实例就是这个驱动的动力源， 否则应当创建一个时钟线程连接到master_port作为驱动源
二) pjmedia_stream （stream.c）
根据https://trac.pjsip.org/repos/wiki/media-flow#IncomingRTPRTCPPackets提供的图片
stream.c在传输层和会议桥之间起到承上启下的作用，并实现了一个jitter_buffer
前面说过： 会议桥的各个“端口”所连接的对象， 都必须实现一个pjmedia_port接口
所以 stream.c也应该实现了这个pjmedia_port接口， 查阅代码， 果然后get_frame/putt_frame的函数定义
在struct pjmedia_stream结构体中， 也找到了接口的定义：
pjmedia_port port;
pjmedia_transport *transport;//本文是想研究音频数据如何从会议桥到达网络的， 所以这里还关注了与传输层有关成员
看下pjmedia_stream_create()函数原型 PJ_DEF(pj_status_t) pjmedia_stream_create( pjmedia_endpt *endpt,
pj_pool_t *pool,
const pjmedia_stream_info *info,
pjmedia_transport *tp,
void *user_data,
pjmedia_stream **p_stream)
可见 pjmedia_transport *tp， 是在pjmedia_stream外部创建的对象，粗略地阅读下pjmedia_stream_create代码， 了解到以下信息：
1) 如果外部未提供内存池 ，则pjmedia_stream内部自己建立一个，并保存在own_pool成员中
2) 入口参数pjmedia_stream_info *info提供了编解码器参数， 保存在si成员中
3) 入口参数pjmedia_stream_info *info还提供了接口pjmedia_port的初始化参数
4) 入口参数pjmedia_endpt *endpt提供编解码管理所需的media_endpt，保存在成员endpt中
5) 编解码管理器保存在成员codec_mgr中： stream->codec_mgr = pjmedia_endpt_get_codec_mgr(endpt)
6) 创建并初始化了pjmedia_stream的编解码其实例： pjmedia_codec_mgr_alloc_codec+pjmedia_codec_init+pjmedia_codec_open
7) 对pmedia_port接口操作函数赋值, 注意到，当RTP数据为非压缩的PJMEDIA_FORMAT_L16格式时的get_frame接口与压缩的格式时
与编码格式时使用的get_frame接口函数是不同的： get_frame() / get_frame_ext()
8) 建立了jitter缓冲区（pjmedia_jbuf_create） 还有相应的操作mutext（pj_mutex_create_simple）
9) 建立数据编码通道： create_channel( pool, stream, PJMEDIA_DIR_ENCODING, info->tx_pt, info, &stream->enc);//tx_pt应该与RTP负载类型有关
10） 建立数据解码通道： create_channel( pool, stream, PJMEDIA_DIR_DECODING, info->rx_pt, info, &stream->dec); //tx_pt应该与RTP负载类型有关
11） 最后，关联一个 pjmedia_transport，用于数据发送： pjmedia_transport_attach2(tp, &att_param);
att_param.rtp_cb = &on_rx_rtp; //数据RTP接收操作在这里
att_param.rtcp_cb = &on_rx_rtcp; //数据RTCP接收操作在这里
总结一下， pjmedia_stream实现了pjmedia_port接口， attach了一个pjmedia_transport， 建立了编解码通道
留下的疑问：
1） 有on_rx_rtp回调， 没有on_tx_rtp回调
2） 有on_rx_rtcp回调， 没有on_tx_rtcp回调
3） 编解码通道是个什么东西？
==看看pjmedia_transport_attach2的代码我们就明白了
PJ_INLINE(pj_status_t) pjmedia_transport_attach2(pjmedia_transport *tp,
pjmedia_transport_attach_param *att_param)
{
if (tp->op->attach2) {
return tp->op->attach2(tp, att_param);
} else {
return tp->op->attach(tp, att_param->user_data,
(pj_sockaddr_t*)&att_param->rem_addr,
(pj_sockaddr_t*)&att_param->rem_rtcp,
att_param->addr_len, att_param->rtp_cb,
att_param->rtcp_cb);
}
}
原来pjmedia_stream提供的两个on_rx_rtp回调和on_rx_rtcp回调，通过attach函数交给pjmedia_transport层使用去了
pjmedia_transport层是网络层， 每当接收到RTP/RTCP数据包后， 就用过着两个回调函数，使数据下行到pjmedia_stream
至于向pjmedia_transport层发送的数据， 则是由pjmedia_stream主动调用以下两个函数实现的
pjmedia_transport_send_rtp 调用是这样滴： put_frame->put_frame_imp->pjmedia_transport_send_rtp
pjmedia_transport_send_rtcp
==再看看编解码通道创建函数pjmedia_stream_create， 核心代码在这里：
channel = PJ_POOL_ZALLOC_T(pool, pjmedia_channel);
。。。
pjmedia_rtp_session_setting settings;
settings.flags = (pj_uint8_t)((param->rtp_seq_ts_set << 2) | 3);
settings.default_pt = pt;
settings.sender_ssrc = param->ssrc;
settings.seq = param->rtp_seq;
settings.ts = param->rtp_ts;
status = pjmedia_rtp_session_init2(&channel->rtp, settings);
。。。
channel->rtp指向一个RTP包头的封装和解封装对象
再回头看看上面提过的函数put_frame_imp，发送到传输层的数据前进行RTP头部封装， 然后使用负载数据再用编码器进行编码（例如g711编码）：
先调用：pjmedia_codec_encode 编码
在调用：pjmedia_rtp_encode_rtp封装
而在on_rx_rtp回调函数的实现中， 我们看到了RTP解封装： pjmedia_rtp_decode_rtp , 解封的数据被到jitter_buffer中
在get_frame()/get_frame_ext()函数中， 我们看到了音频数据解码： pjmedia_codec_decode， 待解码数据来自jitter_buffer
1）会议桥具有多个conf_port, 使用ports[]数组保存
2）会议桥实现了一个叫做master_port的pjmedia_port, 占用ports[0]的conf_port资源
3）会议桥可能会创建一个pmedia_snd_port对象, 通过pjmedia_snd_port_connect，连接到master_port，打通了声卡设备到会议桥的数据通道
4) 会议桥除ports[0]的conf_port端口，都可以连接到一个pmedia_port对象，实现与外部的音频数据的交换
5）会议桥所有的conf_port端口， 可以通过pjmedia_conf_connect_port调用建立连接关系， 连接是多对多的关系
当conf_port[0]作为监听端口 具有多个源conf_port端口时， 监听master_port上就会进行混音操作
因为会议桥代码提供的get_frame()只供master_port接口使用， 所以会议桥内部混音操作只会发生在master_port接口的get_frame函数中
get_frame函数实际上成了混音操作的节拍器， 它会遍历每一个监听端口， 对每个监听端口进行混音， 混音结果使用write_port()->pjmedia_port_put_frame()输出。
混音其里面有个宏SIMPLE_AGC(cport->last_mix_adj, cport->mix_adj);用来实现进行混音AGC
接下来研究下连接在会议桥端口上的stream对象：
仍然参考这张图https://trac.pjsip.org/repos/wiki/media-flow#IncomingRTPRTCPPackets
本次重点放在图中位于会议桥和传输层之间的stream.c上面
一) 先研究下libpjsib提供的两个例子
在conference.c例子中， 为我们演示了一个具有file_count个play文件流，RECORDER个录制文件流的混音器
混音器总端口数=file_count + 1 + RECORDER， 对外可用的端口数为file_count + RECORDER， 内部master_port占用端口0
1) pjmedia_wav_writer_port_create + pjmedia_conf_add_port 添加了一个录制文件流
2) pjmedia_wav_player_port_create + pjmedia_conf_add_port 添加了file_count个录制文件流
3) 端口之间的连接关系通过终端控制台进行配置（pjmedia_conf_connect_port/pjmedia_conf_disconnect_port）
4) 通过pjmedia_conf_adjust_tx_level和pjmedia_conf_adjust_rx_level调整输出输入通道的音量调整范围（-128 to 127） --- 这个由猜测的成分，大概是吧， 原理还未搞明白
例子程序confbench.c则为我们演示另一个混音器， 这个混音器内部不创建pjmedia_snd_port实例（PJMEDIA_CONF_NO_DEVICE）：
status = pjmedia_conf_create( pool, PORT_COUNT, CLOCK_RATE, 1, SAMPLES_PER_FRAME, 16, PJMEDIA_CONF_NO_DEVICE, &conf);
1）会议桥端口总数为PORT_COUNT=254个
2）会议桥端口添加了NULL_COUNT=100个0数据端口： pjmedia_null_port_create + pjmedia_conf_add_port
3）会议桥端口添加了SINE_COUNT=100个正玄波端口： pjmedia_conf_add_port + pjmedia_conf_add_port
4）会议桥端口添加了IDLE_COUNT=32个0数据端口作为空闲端口： pjmedia_null_port_create + pjmedia_conf_add_port
5）获得会议端口0： pjmedia_conf_get_master_port
6）因为未启动声卡，会议桥创建一个pjmedia_master_port作为混音节拍器：pjmedia_master_port_create， 使用端口0作为下行stream端口，第一个null_port做上行stream源端口
7）启动混音节拍器master_port： pjmedia_master_port_start----将启动一个精确时钟线程作为混音节拍器
8）时钟线程每间隔指定时间， 进行一次回调（clock_callback在pjmedia_master_port定义）
在clock_callback中， 实现功能如下：
i> Get frame from upstream port and pass it to downstream port 其中upstream就是null_port[0] ,还会给从master_port端口获得的帧打上时间标签
ii> Get frame from downstream port and pass it to upstream port 而downstream就是master_port，也就是conf->master_port
通过着两个例子， 可以看到， 会议桥的各个“端口”所连接的对象， 都必须实现一个pjmedia_port接口， 端口之间的音频数据流动需要节拍器进行驱动
如果会议桥启动了pjmedia_snd_port实例,则pjmedia_snd_port实例就是这个驱动的动力源， 否则应当创建一个时钟线程连接到master_port作为驱动源
二) pjmedia_stream （stream.c）
根据https://trac.pjsip.org/repos/wiki/media-flow#IncomingRTPRTCPPackets提供的图片
stream.c在传输层和会议桥之间起到承上启下的作用，并实现了一个jitter_buffer
前面说过： 会议桥的各个“端口”所连接的对象， 都必须实现一个pjmedia_port接口
所以 stream.c也应该实现了这个pjmedia_port接口， 查阅代码， 果然后get_frame/putt_frame的函数定义
在struct pjmedia_stream结构体中， 也找到了接口的定义：
pjmedia_port port;
pjmedia_transport *transport;//本文是想研究音频数据如何从会议桥到达网络的， 所以这里还关注了与传输层有关成员
看下pjmedia_stream_create()函数原型 PJ_DEF(pj_status_t) pjmedia_stream_create( pjmedia_endpt *endpt,
pj_pool_t *pool,
const pjmedia_stream_info *info,
pjmedia_transport *tp,
void *user_data,
pjmedia_stream **p_stream)
可见 pjmedia_transport *tp， 是在pjmedia_stream外部创建的对象，粗略地阅读下pjmedia_stream_create代码， 了解到以下信息：
1) 如果外部未提供内存池 ，则pjmedia_stream内部自己建立一个，并保存在own_pool成员中
2) 入口参数pjmedia_stream_info *info提供了编解码器参数， 保存在si成员中
3) 入口参数pjmedia_stream_info *info还提供了接口pjmedia_port的初始化参数
4) 入口参数pjmedia_endpt *endpt提供编解码管理所需的media_endpt，保存在成员endpt中
5) 编解码管理器保存在成员codec_mgr中： stream->codec_mgr = pjmedia_endpt_get_codec_mgr(endpt)
6) 创建并初始化了pjmedia_stream的编解码其实例： pjmedia_codec_mgr_alloc_codec+pjmedia_codec_init+pjmedia_codec_open
7) 对pmedia_port接口操作函数赋值, 注意到，当RTP数据为非压缩的PJMEDIA_FORMAT_L16格式时的get_frame接口与压缩的格式时
与编码格式时使用的get_frame接口函数是不同的： get_frame() / get_frame_ext()
8) 建立了jitter缓冲区（pjmedia_jbuf_create） 还有相应的操作mutext（pj_mutex_create_simple）
9) 建立数据编码通道： create_channel( pool, stream, PJMEDIA_DIR_ENCODING, info->tx_pt, info, &stream->enc);//tx_pt应该与RTP负载类型有关
10） 建立数据解码通道： create_channel( pool, stream, PJMEDIA_DIR_DECODING, info->rx_pt, info, &stream->dec); //tx_pt应该与RTP负载类型有关
11） 最后，关联一个 pjmedia_transport，用于数据发送： pjmedia_transport_attach2(tp, &att_param);
att_param.rtp_cb = &on_rx_rtp; //数据RTP接收操作在这里
att_param.rtcp_cb = &on_rx_rtcp; //数据RTCP接收操作在这里
总结一下， pjmedia_stream实现了pjmedia_port接口， attach了一个pjmedia_transport， 建立了编解码通道
留下的疑问：
1） 有on_rx_rtp回调， 没有on_tx_rtp回调
2） 有on_rx_rtcp回调， 没有on_tx_rtcp回调
3） 编解码通道是个什么东西？
==看看pjmedia_transport_attach2的代码我们就明白了
PJ_INLINE(pj_status_t) pjmedia_transport_attach2(pjmedia_transport *tp,
pjmedia_transport_attach_param *att_param)
{
if (tp->op->attach2) {
return tp->op->attach2(tp, att_param);
} else {
return tp->op->attach(tp, att_param->user_data,
(pj_sockaddr_t*)&att_param->rem_addr,
(pj_sockaddr_t*)&att_param->rem_rtcp,
att_param->addr_len, att_param->rtp_cb,
att_param->rtcp_cb);
}
}
原来pjmedia_stream提供的两个on_rx_rtp回调和on_rx_rtcp回调，通过attach函数交给pjmedia_transport层使用去了
pjmedia_transport层是网络层， 每当接收到RTP/RTCP数据包后， 就用过着两个回调函数，使数据下行到pjmedia_stream
至于向pjmedia_transport层发送的数据， 则是由pjmedia_stream主动调用以下两个函数实现的
pjmedia_transport_send_rtp 调用是这样滴： put_frame->put_frame_imp->pjmedia_transport_send_rtp
pjmedia_transport_send_rtcp
==再看看编解码通道创建函数pjmedia_stream_create， 核心代码在这里：
channel = PJ_POOL_ZALLOC_T(pool, pjmedia_channel);
。。。
pjmedia_rtp_session_setting settings;
settings.flags = (pj_uint8_t)((param->rtp_seq_ts_set << 2) | 3);
settings.default_pt = pt;
settings.sender_ssrc = param->ssrc;
settings.seq = param->rtp_seq;
settings.ts = param->rtp_ts;
status = pjmedia_rtp_session_init2(&channel->rtp, settings);
。。。
channel->rtp指向一个RTP包头的封装和解封装对象
再回头看看上面提过的函数put_frame_imp，发送到传输层的数据前进行RTP头部封装， 然后使用负载数据再用编码器进行编码（例如g711编码）：
先调用：pjmedia_codec_encode 编码
在调用：pjmedia_rtp_encode_rtp封装
而在on_rx_rtp回调函数的实现中， 我们看到了RTP解封装： pjmedia_rtp_decode_rtp , 解封的数据被到jitter_buffer中
在get_frame()/get_frame_ext()函数中， 我们看到了音频数据解码： pjmedia_codec_decode， 待解码数据来自jitter_buffer