最近手机安装了一个“千里眼”和千里眼家居远程监控的应用，对里面的实时监控交通路口的状态有点好奇。以是使用相应的方法反编译看看她的原理。
对于软件“千里眼”，经过代码的翻看，发现采用的是VideoView中访问RTSP实时视频流的思路实现的。
反编译后的代码
String str = getIntent().getStringExtra(
"rtsp"
);
if
(str !=
null
)
{
VideoView localVideoView3 =
this
.videoView;
Uri localUri = Uri.parse(str);
localVideoView3.setVideoURI(localUri);
}
|
软件千里眼家居远程监控采用的是另外一种思路：
从反编译代码可以看出
boolean
bRunning =
true
;
Handler handler;
String htmlCode =
" <embed style='width:100%; height:100%' src='http://www.3gjiaoshi.com:8080/FLVPlayer.swf?fullscreen=true&video=@VIDEO@' autoplay='true' quality='high' bgcolor='#000000' name='VideoPlayer' align='middle' + width='320' height='240' allowScriptAccess='*' allowFullScreen='true' type='application/x-shockwave-flash' />"
;
String htmlPost =
"</body></html>"
;
String htmlPre =
"<!DOCTYPE html><html lang=\"en\"><head><meta charset=\"utf-8\"></head><body style='margin:0; pading:0; background-color: black;'>"
;
AdView m_adv =
null
;
String m_strVideoPath;
WebView webView;
代码可以看出是通过Flash以及WebView的方式实现的。
经过两个项目的分析，我可以确认相应的实现思路了。本系统的架构分为三层。
1 视频实时监控层
2 视频RTSP传输控制层
3 Android手机层
第一层可以通过很多不同的方法来实现。
1 使用我们普通的摄像头，然后通过FFMpeg来获取视频流。
2 通过特殊专用的监控摄像头或者摄像机之类。然后根据摄像机的API来构造获取视频流。可以参考海康家的解决方案。之前在做某监控项目用过她家的卡，效果非常不错。
第二层的方法也很多。
1 使用FFMpeg项目的里面的FFServer来实现，可能会有延迟，但是最容易演示。
<
Feed
feed1.ffm>
File /tmp/feed1.ffm
FileMaxSize 200K
</
Feed
>
|
然后使用FFMpeg将摄像头的视频重定向到/tmp/feed1.ffm中。
ffmpeg -f video4linux -s 320*240 -r 15 -i /dev/video0http://localhost:8090/feed1.ffm
|
在外面就可以通过
./ffplay http://localhost:8090/feed1.ffm 访问视频流了
|
这种方式目前不能商用，只能演示。商用可能需要对FFServer做很大的修改。比如将其中的select模型改为epoll或者其他。开发的时候，FFServer估计是为了保证在windows以及Linux中的兼容性而采用select模型的。
2 使用Helix家的解决方案，收费比较高。
3 使用开源的gst-rtsp-server实现。
4 使用Flash Media Server来实现。
第三层方法可以是两种
1 使用VideoView实现。
2 使用Flash的方式实现LiveStream(对应与Flash Media Server的实现)。
参考文章：
1 http://blog.sina.com.cn/s/blog_53b3dc830100mrd0.html
2 http://www.ffmpeg.org/ffmpeg.html
3 http://blog.csdn.net/seforna/article/details/3486227
4 http://blog.csdn.net/saphy/article/details/5472990
5 http://yjaps26.blog.163.com/blog/static/24483312200861091059866/
6 http://www.adobe.com/devnet/flashmediaserver/articles/webcasting_fme.html
7 http://blog.sina.com.cn/s/blog_46d93f190100us5h.html
8 http://general.blog.51cto.com/927298/200088
9 http://people.freedesktop.org/~wtay/
10 http://cgit.freedesktop.org/gstreamer/gst-rtsp-server/
11 http://blogs.gnome.org/uraeus/2008/10/13/gstreamer-rtsp-server/
12 http://gstreamer.freedesktop.org/download/
13 http://blog.csdn.net/wangjia184/article/details/6422971
14 http://www.cnblogs.com/yjmyzz/archive/2010/03/15/1686274.html
15 http://rg4.net/ezstreamsvr(封装了一个流媒体传输服务器端)
1、使用FFMpeg进行视频采集，使用Live555进行RTP传输，使用VideoView进行播放。
csdn提到：重载FrameSource，写一个服务类，可以从FrameSource的派生类读取帧数据，转发给live555.
评价：本方案大型访问量大的不行，少量连接比如100以内的可以。
2、用gstreamer完成采集、编码、组播。客户端使用VideoView进行播放。
评价：本方案优点为可以实现大访问量。缺点是基本从底层架构，代码量比较大。
3、使用FFmpeg进行视频采集，使用ffserver进行视频转发，客户端使用VideoView播放。
评价：优点是实现简单、容易演示，缺点是实时性不好以及用户量大不行。
参考文章：
1、http://topic.csdn.net/u/20100403/13/81B00633-33EC-48CA-A575-0E6BA1B39631.html
2、http://www.gstreamer.net/ （好像目前打不开）
3、http://gstreamer.freedesktop.org/
4、http://www.organicdesign.co.nz/Simple_video_streaming_with_ffserver
5、windows下面FFmpeg编译可执行程序 http://ffmpeg.zeranoe.com/builds/
6、http://ffmpeg.org/download.html
7、https://github.com/FFmpeg/FFmpeg
8、http://ffmpeg.org/sample.html
http://www.elecfans.com/emb/app/20120322265138.html
摘要：为了实现移动视频监控，提出了一种基于智能手机的远程视频监控系统。介绍了监控系统的体系结构和硬件平台，阐述了嵌入式操作系统Android 应用程序的开发方法，并结合实际的应用系统，重点论述了Android 平台上视频监控客户端的设计思路。移植了音视频解码库FFmpeg 进行H. 264 视频解码，并采用OpenGL ES 实现实时视频显示。在无线局域网络的环境下对视频监控终端进行测试，达到了利用手机进行移动视频监控的目的。
随着多媒体技术、视频压缩技术以及网络传输技术的发展，视频监控正朝着数字化、网络化、智能化方向持续发展，并越来越广泛地渗透到政府、教育、娱乐、医疗等领域。目前大部分的网络视频监控系统是基于WEB 服务器的， 监控终端为PC机，用户使用浏览器获取监控服务。由于互联网接入地点的限制，普通的网络视频监控无法满足用户在任何时间、任何地点获取监控信息的需求。
本文介绍了一种以Android 智能手机为终端的视频监控系统，该系统将传统的视频监控与移动多媒体技术相结合，真正实现了移动视频监控。
1系统的结构
本文中的视频监控系统采用C/ S 体系结构。
如图1 所示，该系统由视频采集端（ 摄像头），视频服务器以及监控客户端等构成。
视频服务器是整个系统的核心部分，它将摄像头采集到的原始模拟信号转换为数字信号，并对视频数据进行编码压缩，最后通过Internet 将压缩后的数据传送至客户端。客户端通过TCP/ IP 协议访问服务器，通过对视频数据的接收、解码以及显示，实现实时预览功能。客户端也可以根据用户需求发送控制命令，实现对前端设备的控制操作，如云台控制等。
服务器部分采用Hi3515 处理器芯片为硬件平台，并移植了嵌入式操作系统Linux 作为整个系统运行的软件环境。Hi3515 是一款基于ARM9 处理器内核以及视频硬件加速引擎的高性能通信媒体处理器，具有H. 264 和MJPEG 多协议编解码能力。
本文以基于Hi3515 的远程视频监控系统为例，重点介绍了Android 平台上监控客户端的设计过程。
2Android 开发介绍
Android 是基于Linux 开放性内核的操作系统，是Google 公司在2007 年11 月5 日公布的手机操作系统。Android 采用软件堆层的架构，主要分为三部分：底层以Linux 核心为基础，提供基本功能；中间层包括函数库和虚拟机；最上层是各种应用软件。
Android 平台显着的开放性使其拥有众多的开发者，应用日益丰富，不仅应用于智能手机，也向平板电脑、智能MP4 方面急速扩张。
Android 应用程序用Java 语言编写，每个应用程序都拥有一个独立的Dalvik 虚拟机实例，这个实例驻留在一个由Linux 内核管理的进程中。Dalvik支持Java Native Interface（JNI）编程方式，Android 应用程序可以通过JNI 调用C/ C++开发的共享库，实现“Java+C冶的编程方式。开发Android 应用程序最简捷的方式是安装Android SDK 和Eclipse IDE.
Eclipse 提供了一个丰富的Java 环境，Java 代码通过编译后，Android Developer Tools 会将它打包，用于安装。3 监控客户端的设计与实现
基于Android 平台的监控客户端的总体框架如图2 所示，分别由网络通讯模块、视频解码模块以及视频显示模块等构成。其中网络通讯模块接收来自服务器的所有数据，对数据进行解析，并将视频数据存入到视频缓冲区。视频解码模块负责从视频缓冲区中读取数据并送入H. 264 解码器进行解码。最后，采用OpenGL 图形库将解码后图像绘制到屏幕上实现视频播放。
3. 1 H. 264 视频解码器的实现
在网络视频监控系统中，视频的编码压缩是非常必要和关键的工作，没有经过压缩的海量数据对网络传输系统来说是无法承受的［7］ .H.264 是目前最先进的视频压缩算法，它由视频编码层VCL 和网络提取层NAL 两部分组成。其中，VCL 进行视频编解码，包括运动补偿预测、变换编码和熵编码等；NAL 采用适当的格式对VCL 视频数据进行封装打包。H.264 标准对编码效率和图像质量进行了诸多改进，且抗丢包性能和抗误码性能好，适应各种网络环境，非常适合于对压缩率要求高，网络环境复杂的移动视频监控。
客户端接收的数据是经过H.264 编码压缩后的数据，需要经过H.264 解码还原视频图像后才能够显示，因此，H.264 解码器是客户端的关键部分。这里移植了开源的音视频解码库FFmpeg 进行H.264 解码。在Android 应用程序中使用FFmpeg 的步骤如下：
（1）在Linux 环境下安装Android 原生开发工具包NDK.
（2） 创建jni 文件夹，将FFmpeg 工程复制到文件夹下。创建H264Decoder. c 源文件，提供Android程序使用的接口函数，文件需要包括JNI 的操作头文件《jni. h 》， 且函数名有固定的形式， 如com_ipcamera_PreView_H264Decoder 表示com_ipcamera包下面PreView 类中H264Decoder 函数。
（3）创建Android. mk 文件，该文件包含正确构建和命名库的MakeFile 说明。分别在LOCAL_SRC_FILES 和LOCAL_C_INCLUDES 项中添加编译模块所需源文件和头文件目录。
（4）执行NDK 开发包中的ndk鄄build 脚本，生成对应的。 so 共享库，并复制到Android 工程下的libs/armeabi 目录下。
（5） 在Android 程序中通过System. loadLibrary（”库名称冶）加载所需要的库，加载成功后，应用程序就可以使用H264Decoder 函数进行H.264 的解码。为了提高绘图的效率，客户端使用OpenGL ES实现视频图像的显示。OpenGL ES 是一个2D/3D轻量图形库，是跨平台图形库OpenGL 的简化版。
OpenGL ES 专门针对手机、PDA 和游戏主机等嵌入式设备而设计，目的是为了充分利用硬件加速，适合复杂的、图形密集的程序。
Android 中使用GLSurfaceView 来显示OpenGL视图，该类继承至SurfaceView 并包含了一个专门用于渲染3D 的接口Renderer，主要通过实现ON鄄DrawFrame、onSurfaceChanged 以及onSurfaceCreated等方法构建所需的Renderer.解码器解码一帧图像后，调用GLSurfaceView 的requeSTRender 方法通知OpenGL ES 完成视频图像的显示。使用OpenGL 绘图的核心代码如下：
3. 3多线程设计
视频数据的接收和解码都是复杂、持续的过程，如果其中一个过程出现阻塞会影响整个程序的运行，因此，客户端使用多线程实现数据接收和视频解码的并行处理。在整个程序运行过程中，主线程响应用户操作，负责屏幕刷新工作，并创建两个子线程：数据接收和视频解码子线程，处理过程如图3 所示。
图3子线程处理流程。
在Java 中， 多线程的实现有两种方式： 扩展java. lang. Thread 类或实现java. lang. Runnable 接口。这里通过继承Thread 类并覆写run（）方法实现两个子线程。在多线程的应用中关键是处理好线程之间的同步问题，以解决对共享存储区的访问冲突，避免引起线程甚至整个系统的死锁。Java 多线程主要利用synchronized 关键字和wait（ ）、notify（ ） 等方法实现线程间的同步。
4 结束语
目前，该系统已经在实验室进行测试，服务器输出15fps CIF 格式的H. 264 视频数据，客户端安装在Android 手机上，通过WIFI 接入无线局域网中与服务器建立连接，用户界面如图4 所示，可实现远程视频预览、云台控制等操作。
随着3G 时代的到来，数据传输速度有了大幅提升，为移动实时视频业务的实现创造更好的条件。
手机用户可以直接接入3G 网络访问视频监控服务器，实现移动在线的实时视频监控。由此可见，手机视频监控市场潜力巨大，具有很好的发展前景。
1、使用FFMpeg进行视频采集，使用Live555进行RTP传输，使用VideoView进行播放。
csdn提到：重载FrameSource，写一个服务类，可以从FrameSource的派生类读取帧数据，转发给live555.
评价：本方案大型访问量大的不行，少量连接比如100以内的可以。
2、用gstreamer完成采集、编码、组播。客户端使用VideoView进行播放。
评价：本方案优点为可以实现大访问量。缺点是基本从底层架构，代码量比较大。
3、使用FFmpeg进行视频采集，使用ffserver进行视频转发，客户端使用VideoView播放。
评价：优点是实现简单、容易演示，缺点是实时性不好以及用户量大不行。
参考文章：
1、http://topic.csdn.net/u/20100403/13/81B00633-33EC-48CA-A575-0E6BA1B39631.html
2、http://www.gstreamer.net/ （好像目前打不开）
3、http://gstreamer.freedesktop.org/
4、http://www.organicdesign.co.nz/Simple_video_streaming_with_ffserver
5、windows下面FFmpeg编译可执行程序 http://ffmpeg.zeranoe.com/builds/
6、http://ffmpeg.org/download.html
7、https://github.com/FFmpeg/FFmpeg
8、http://ffmpeg.org/sample.html