未来两天里,我们来简单探讨一下Cling投屏的概念及控制的实现。
1、DLAN简介
投屏绝大多数都是基于DLAN((Digital Living Network Alliance) 由索尼、英特尔、微软等发起成立、旨在解决个人PC,消费电器,移动设备在内的无线网络和有线网络的互联互通)实现的,但是也有部分应用采取其它方式,例如乐播,需要在TV端和手机端都安装相应的App,目测实现原理是自己建立socket进行两端局域网通信,移动端实时获取屏幕图像或读取媒体文件,通过socket发送到TV端的App,TV端解码显示,这种投屏与本次讨论的投屏具有较大的不同。乐播的方式更像是局域网直播。DLAN包含4个模块:DMS:Digital Media Server 服务器、DMR:Digital Media Renderer 渲染器(受控端)、DMC:Digital Media Controller 控制器和 DMP:Digital MediaPlayer 播放器(可理解为DMC+DMR)。DLAN标准的投屏有两种情况,第一种是移动端将目标资源URL通过HTTP以xml格式描述发送给TV端,TV端进行独立拉流播放展示(音视频图片等),移动端只需要使用DMC进行播放控制即可,第二种是移动端作为服务端,为TV端提供数据流,需要DMS和DMC两个模块。能提供的服务,例如:支持、控制服务、事件服务、展示服务;控制点:UPnP Controller,对投屏设备的控制,如播放、暂停、停止等;Action:继承自Runable的一系列实现类,描述和实现了具体对设备的控制。
2、设备发现
Talk is cheap, show me the code.
如果上来就堆上一堆协议、概念,总会让人失去兴趣、探索的欲望烟消云散。所以我们从最有意思的地方开始,先忽略细枝末节,只关心我们最感兴趣的事:发现设备干了什么?
发现设备的操作看起来就一句话:
mUpnpService.getControlPoint().search();
Cling类库是由Java实现的DLNA/UPnP协议栈,UPnPService是什么、ControlPoint我们已经大概有点印象,从名字上也能看出来是个什么东西,先不深究,这里从search方法开始.
public void search(UpnpHeader searchType, int mxSeconds) {
this.getConfiguration().getAsyncProtocolExecutor().execute(this.getProtocolFactory().createSendingSearch(searchType, mxSeconds));
}
excute()的参数是一个Runnable,createSendingSearch()返回的是SendingSearch对象(implement Runnable),在run()方法中执行了它的excute()方法:
protected void execute() throws RouterException {
OutgoingSearchRequest msg = new OutgoingSearchRequest(this.searchTarget, this.getMxSeconds());
this.prepareOutgoingSearchRequest(msg);
for(int i = 0; i < this.getBulkRepeat(); ++i) {
this.getUpnpService().getRouter().send(msg);
}
}
最关心的是构造了一个msg,封装了一些需要的参数,然后通过UpnpService().getRouter().send(msg)发送出去,Router的实现也值得探索一番,但这里我们的目标是send(msg),先Mark一下继续看send。send()方法的实现在RouterImpl.java中,几乎直接继续调用了DatagramIO.send(msg),实现在DatagramIOImpl.java中:
public synchronized void send(OutgoingDatagramMessage message) {
DatagramPacket packet = this.datagramProcessor.write(message);
this.send(packet);
}
public synchronized void send(DatagramPacket datagram) {
this.socket.send(datagram);
}
先是把message中封装的参数写入到DatagramPacket中,写入的过程就约等于StringBuilder.append().append().append(),拼接了一个HTTP请求,然后通过socket.send(),发送出去,这个socket为java.net.MulticastSocket对象,可以用于在局域网内快速获取所有IP并且进行通信、多点广播等。
至此,搜索的发送动作就走完了。
RouterImpl中除了send,还实现了数据接收 public void received(IncomingDatagramMessage msg) ,并将接收的msg通过ProtocolFactoryImpl创建的ReceivingAsync中处理,具体的实现在ReceivingSearchResponse的execute()中,继续在UpnpService().getConfiguration().getAsyncProtocolExecutor()中执行RetrieveRemoteDescriptors(implement Runnable),具体过程为解析接收到的descriptorXML,通过DeviceDescriptorBinder解析descriptorXML构建一个RemoteDevice对象,对这个RemoteDevice对象处理之后通过UpnpService().getRegistry().addDevice(hydratedDevice)添加到RemoteItems中,这是一个简单的RemoteDevice的管理类,用于辅助RegistryImpl管理RemoveDevice,这已经到达我们的使用Cling接口所在的层面了。获取局域网中的设备列表就是通过UpnpService.getRegistry().getDevices(DMR_DEVICE_TYPE)来获取的。
至此,搜索的发送及搜索结果的处理过程大致走完了,我们已经顺利可以获取到局域网中有哪些设备了,下一步就是选择想要交互的设备,进行投屏、控制等操作。
3、设备控制
设备发现之后,如何进行播放的呢?移动端如何告知TV端流地址和控制命令的呢?
播放分为两种情况:播放新的、继续播放暂停的。
先看一下第一种,如何开始播放一个新的流。这个过程分为两步,第一步:告诉TV端要播放的流的信息,第二步:告诉TV端开始播放动作(也就是第二种情况)。
第一步需要构建一个xml的描述,具体内容类似下面这段:
<?xml version="1.0"?>
<DIDL-Lite xmlns="urn:schemas-upnp-org:metadata-1-0/DIDL-Lite/"
xmlns:dc="http://purl.org/dc/elements/1.1/"
xmlns:upnp="urn:schemas-upnp-org:metadata-1-0/upnp/"
xmlns:dlna="urn:schemas-dlna-org:metadata-1-0/">
<item
id="id"
parentID="0"
restricted="0">
<dc:title>name</dc:title>
<upnp:artist>unknow</upnp:artist>
<upnp:class>object.item.videoItem</upnp:class>
<dc:date>2018-09-21T17:51:41</dc:date>
<res protocolInfo="http-get:*:*/*:*">
http://0123.liveplay.myqcloud.com/live/456789.m3u8
</res>
</item>
</DIDL-Lite>
然后new 一个SetAVTransportURI(extends (ActionCallback implements Runnable))对象,
public SetAVTransportURI(UnsignedIntegerFourBytes instanceId, Service service, String uri, String metadata) {
super(new ActionInvocation(service.getAction("SetAVTransportURI")));
this.getActionInvocation().setInput("InstanceID", instanceId);
this.getActionInvocation().setInput("CurrentURI", uri);
this.getActionInvocation().setInput("CurrentURIMetaData", metadata);
}
先创建应该ActionInvocation,然后将参数通过setInput()存储到一个Map中,然后就可以controlPointImpl.execute(刚创建的哪个SetAVTransportURI对象)了。ActionCallback的run方法
public void run() {
Service service = this.actionInvocation.getAction().getService();
if (service instanceof RemoteService) {
RemoteService remoteService = (RemoteService)service;
URL controLURL = ((RemoteDevice)remoteService.getDevice()).normalizeURI(remoteService.getControlURI());
SendingAction prot = this.getControlPoint().getProtocolFactory().createSendingAction(this.actionInvocation, controLURL);
prot.run();
IncomingActionResponseMessage response = (IncomingActionResponseMessage)prot.getOutputMessage();
if (response == null) {
...
}
}
}
是不是发现getProtocolFactory().createSendingAction()与搜索设备时候getProtocolFactory().createSendingSearch()很像,SendAction与SendSearch都继承自SendingAsync( implements Runnable),在run中执行到了executeSync(),然后调用invokeRemote(),并在sendRemoteRequest中调用UpnpService().getRouter().send(requestMessage)将消息发送出去,这里同样与搜索设备时send(msg)一致,而这里的requestMessage就引用了前面getActionInvocation().setInput()保存参数到map的那个invocation。
protected IncomingActionResponseMessage invokeRemote(OutgoingActionRequestMessage requestMessage) throws RouterException {
Device device = this.actionInvocation.getAction().getService().getDevice();
StreamResponseMessage streamResponse = this.sendRemoteRequest(requestMessage);
...
}
protected StreamResponseMessage sendRemoteRequest(OutgoingActionRequestMessage requestMessage) throws ActionException, RouterException {
return this.getUpnpService().getRouter().send(requestMessage);
}
至此,包含流地址的内容已经发送出去了。
第二种情况(继续播放暂停的视频)就是第一种情况的第二步。类似的,也是通过controlPointImpl.execute(new Play(avtService)),Play也是继承自ActionCallback,看一下它的构造方法就明白了
public Play(UnsignedIntegerFourBytes instanceId, Service service, String speed) {
super(new ActionInvocation(service.getAction("Play")));
this.getActionInvocation().setInput("InstanceID", instanceId);
this.getActionInvocation().setInput("Speed", speed);
}
跟前面发送流地址的 SetAVTransportURI 简直一模一样,走的是同一套逻辑。同理,暂停、停止等其它命令的发送过程也是这样,看看这些命令的全家福:
控制命令发送的回调无非是success、fail,对应按需处理一下即可。
4、设备、协议、mDNS、UPnP、HTTP及其工作关系