【小编按】TDengine开源以来，因其巨大的性能提升和极其简单的运维引起很多行业朋友的关注。中国石油旗下的某智慧油田项目已经与涛思数据达成初步合作，将TDengine应用在智慧油田项目中。
江燚同学将项目的应用方式总结下来，希望TDengine能在智慧油田新概念新思路的探索中，贡献一份自己的力量。
1
油田监控系统介绍
1999年，美国马里兰大学数字地球研讨会上明确了“数字地球”的概念后，数字油田的概念也被提出，并定义为以信息技术为手段全面实现油田实体和企业的数字化、网络化、智能化和可视化。20年来，随着物联网感知层监测设备RTU不断更新迭代和传输层模块如LoRa、NBIoT等技术的进步，在数字油田的基础上，提出智慧油田的概念，并明确智慧油田为未来发展方向。
智慧油田是通过对采油井现场部署一系列监测终端对油井工作状态进行实时监控并上报分析，通过高级的算法自动触发告警、反馈调节等工作，将整个油井的生产管理变成一个生产指挥可视化、生产流程数字化和分析决策科学化的实时自动处理系统，提高油气生产过程中的安全性、高效性，降低运维监测中投入的人力成本，并进步一推动数据驱动的业务模型更新。
智慧油田的实现依赖于大量实时监测数据，而监测数据则由整个油田的实时监测网络产生。具体到油井的监测系统组织示意图如下所示。
Figure 1油井监测系组织图
每个油井都部署多种多样的传感器终端，采集数据种类多数量大。在传统的石油监测系统中，每个油井采集的数据经由传输层上报至存储层后，由于存储层写入和读取的速度太慢，因此实时性很难得到保证，极大阻碍了系统实时性反馈的能力。架构设计上也往往不得不先将最新采集的数据送给数据应用分析层，处理后再进行存储。
2
传统存储解决方案
石油行业对于监测数据存储问题的传统解决方案是用Oracle这样的关系型数据库外加Redis这样的内存数据来解决，架构复杂不易维护，并且历史数据的查询和分析随着数据量增大，响应时间剧增，成为数据分析模型更新迭代的效率瓶颈。
在物联网领域，已经出现了专门针对这类时序结构化监测数据设计的开源大数据处理平台TDengine。TDengine尤其高效的写入和查询性能可以完全解决监测数据实时性处理的问题，并且实时数据、历史数据查询透明，为整个历史大数据分析和算法模型迭代提供了坚实的底盘。
3
TDengine带来的巨大优势
中石油下的某采油工艺研究院在推进智慧油田发展的过程中，率先在100口实验油井采用TDengine作为油井监控数据存储处理引擎，来适配其自主研发的新一代高频率采集设备所带来的百毫秒级数据写入频率。系统的架构如下所示：
Figure 2 TDengine在油井监测系统中的架构示意图
此系统中，油井部署了很多研究院新一代RTU监测设备，高频率地监测采出原油内固、液、气三相的体积分布，并且将数据通过MQTT服务器解析校验后写入TDengine。新的存储引擎让整体的数据采集频率从每5分钟提高到了每100毫秒，这是原有存储系统远远无法达到的。新系统也因为有了足够高频的数据，实现了对自身数据处理算法的实时迭代更新。TDengine的架构保证最新最热的数据在内存中，保证了数据大屏显示、告警等功能的实时性。其提供的流式计算和数据订阅功能，则为实时数据迭代分析提供了完美数据接口。每个设备新来的数据会进入自己的消息队列，而分析应用端则订阅这些消息队列，拉取到最新的数据记录来执行既定算法，并将结果用于更新迭代算法模型。
石油行业中本身就有一个庞大复杂的IT系统，运用传统的解决方案来做监测数据存储时需要集成的模块更多、更离散，因而导致整个IT系统更加庞杂、难以维护。TDengine在此方面又发挥出了体量小、运维简单的优势，数据缓存、消息队列、流式计算这些功能全部集成，让监测部分的架构和开发实现大大简化，后期的运维成本也成倍降低。后面的不断实践中，可能会继续尝试将TDengine同时部署在云端和边缘测，进一步提高实时反馈的同时通过边云协同来做云端的数据整合和油田分析。
4
总结
TDengine针对物联网场景中监测类数据的十大特点创新性的提出每个设备建一张表的数据模型，大大提高数据写入和查询速度，保证了油井高频监测数据的实时写入吞吐量。同时TDengine在设计时针对同类型设备间的聚合问题，创新地提出超级表的概念，让多设备间的聚合变得灵活方便，让实时数据大屏显示、监测设备分类管理变得极其简单。
油井可监控数据量非常之大，在推进落实智慧油田新概念新思路的探索路上，需要的是一个从硬件到软件完备的物联网大数据处理平台。而TDengine凭借其在此场景下的巨大优势，有望成为石油行业内监测数据处理的标配。
◆ ◆ ◆ ◆ ◆
点击阅读原文，了解开源的TDengine
