论文篇-----基于Storm的海量交通数据实时处理平台的研究

基本概念
比对计算:如假牌车辆检测、黑名单车辆检测、黄标车监控等业务,这类计算过程比较简单,对接收到的一条数据集获取其中的车牌号,将车牌号与基础信息库进行对比,直接根据业务要求判断此车牌的车辆是否违章车辆。
统计计算:如交通流量统计、旅行时间统计等,这类计算比关联计算复杂,主要是根据业务要求做一些数理统计上的运算。
关联计算:如套牌车辆甄别、道路旅行时间预测、超速车辆甄别等业务,这类业务计算过程比较复杂,在计算过程中需要针对自身业务的需求构建数据处理模型,有的不仅仅是对实时到达的数据集进行处理,还需要关联到其它相关数据集。
信息服务与规划分析:将实时数据计算与海量历史数据相结合,对海量交通出行数据进行数据挖掘,找出其出行行为、异常事件等,为道路规划以及交通管理策略的制定提供事实数据。
套牌车阈值:指的是车辆在道路行驶出现某违章项目的界限值,以套牌车阈值为例,车辆在R上以不进行超速行驶而通过该路段上下游监测点所花费的最短旅行时间,即为这条路段的套牌阈值,用于判定车辆是否为套牌车,假定路段R的时间阈值为t,车辆经过该路段上下游监测点P1和P2的时间分别为t1,t2,若|t2-t1|小于t,则该车辆的车牌在监测点P1和P2发生了套牌。
个人所悟
这篇论文主要利用到了Strom进行任务的合理调度,目标是找到套牌车的嫌疑。
文中提到一种基于固定节点直接分配调度策略(FNS)和基于贪心思想的**负载均衡调度策略(**LBS)。
优缺点:文章中设计的计算模型虽然相对于现有方法,其计算实时性有较大幅度提升,但是对交通数据在内存中的组织方式上仍有不足,导致计算性能没有达到最优,在下一步工作中对交通数据的时空模型将进一步研究,并且将工作节点的CPU、内存等资源对调度算法的影响考虑在内。

注释:FNS调度策略可将一些业务需求运算简单的Topology的所有工作进程调度到指定的一台工作节点上,便于维护和管理。
LBS调度策略是基于负载平衡的思想,结合各个工作节点的资源利用率,将运算复杂且CPU、內存等资源需求高的Topology的进程平均分配到各个工作节点上,避免某一工作节点过多的运行高负载任务。

猜你喜欢

转载自blog.csdn.net/weixin_38725737/article/details/82466265