]大数据技术在综合管廊环境监测中的应用

地下综合管廊整体建于地下,内部相对封闭,一旦发生灾害,会对廊内设备和抢修人员安全造成极大威胁。综合管廊分布了数目众多、各式各样的传感器来监测管廊内部情况。由此产生了海量的由传感器产生而又不适于关系模式的非结构化数据

如何有效地管理这些非结构化数据,迫切需要利用大数据技术,高效地获取非结构化数据所蕴含的有效的管廊监测信息,实现智慧的管廊监测分析和决策,让管理人员及时掌握管廊健康状况,对即将出现问题进行处理,预防事故发生。该文提出了使用大数据技术建立管廊监测大数据中心的概念,给出了大数据技术在管廊监测中的应用前景和方向,可对管廊健康状况进行分析与预警。

很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:805127855,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系
 

管廊监测大数据

大数据通常被认为是PB(1024 terabytes)或EB(1EB=100万TB)或更高数量级的数据,包括结构化的、半结构化的和非结构化的数据,其规模或复杂程度超出了常用传统数据库和软件技术所能管理和处理的数据集范围。

非结构化数据例如文本、图形、图像、音频和视频等,从内容上没有统一的结构,数据是以原生态形式(raw data)保存的,因此,计算机无法直接理解和处理,需要基于描述性信息实现对非结构化数据内容的管理和操作。

管廊监测大数据将包括:管廊范围内所有的管廊本体数据(管廊本体空间位置、属性信息),管廊内部附属设施数据(消防栓、通风口、积水井等),以及管廊环境监测系统所产生的温湿度传感数据、液位传感数据、氧气传感数据、甲烷传感数据、硫化氢传感数据等。

关键技术

数据库:关系型数据库无法满足需求,NoSQL非关系型数据库技术将为管廊监测大数据管理提供可靠的保障。NoSQL技术简单分为key-value存储、文档数据库和图数据库等。

数据分析:首先要解决如何将多源异构的数据正确解读、综合分析的问题,并从海量数据环境中,挖掘出数据中潜在的、事先未知的有用信息,为管廊健康状况进行分析与预警。大数据分析技术将包括数据挖掘、信息聚合等技术。

数据处理:海量增长的管廊监测大数据要从不同类型的数据里迅速获取有价值的信息,需要处理大量、非结构化的数据,在处理环节中可以采用采用高性能、大规模并行的海量数据处理的算法模型与平台来提高海量数据的处理能力。

数据展示:大数据展示技术包括数据分析过程和结果的可视化显示、历史数据的可视化、信息流展示,将大数据复杂的分析,用直观的形式进行展现出来,进而提高管廊监测大数据的利用效率。

管廊监测大数据中心围绕管廊监测领域业务流、数据流,以地理空间数据、具有时空标识的传感监测数据为基础,结合管廊监测领域空间数据和属性数据,利用计算机技术、3S技术、图形处理技术,建设一个现势性强、真实准确的、集管廊监测数据和电子地图数据、空间信息和属性信息为一体的管廊监测大数据中心,使之成为“智慧管廊”建设的数据基础,全面实现城市地下、地上数据共享应用。

该文简要分析了大数据及管廊监测大数据的定义,研究讨论了大数据关键技术,面向综合管廊监测领域开展大数据管理、大数据分析、大数据处理和大数据展示等技术研究,基于对大数据技术的理解,提出管廊监测大数据中心,对提高综合管廊环境监测的智能化水平具有重要的现实意义,促进城镇化发展质量和水平全面提升。很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:805127855,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系
 

猜你喜欢

转载自blog.csdn.net/cqacby2798/article/details/83269970