数仓服务平台的建设实践、大数据服务接口:查询接口设计

大数据统一服务接口将大数据统一管理与服务平台上存储的大数据进行数据封装后,通过统一的服务接口对内对外提供多种数据服务,包括数据服务的注册、审核、发布、使用和监控的全流程管理。

大数据统一服务接口的类型有

1、数据共享交换服务:数据库接口、文件接口、消息接口

  • 数据库接口(支持主流的多种数据库)、数据库导数
  • 文件接口(支持excel、txt、xml等)、下载文件,导出文件等功能
  • 消息接口,kafka和MQ等消息队列推送数据

2、大数据搜索查询服务,搜索查询接口(搜索引擎、查询分析引擎)

  • API接口查询数据,返回json功能 
  • BI工具连接查询,OLAP查分析

3. 服务层 

  (1)基于 Web 的大数据挖掘技术:Web 的大数据挖掘方法和流程,实现易于使用的基于 Web 的大数据挖掘技术,构建基于 Web 的大数据分析环境。 

  (2)基于 Open API 的大数据挖掘技术:Open API 的大数据挖掘方法,研究大数据挖掘开放接口、开放流程,构建基于 Open API 的大数据分析模式。 

  为了提供大数据处理和分析的服务功能,大数据分析平台要采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式。实现这一目标需要做如下创新: 

  (1)系统架构创新:基于互联网和云计算的大数据存储、处理和挖掘的数据中心系统架构,支持多用户、多任务的大数据分析环境; 

  (2)服务模式创新:基于互联网的大数据存储、处理和分析服务模式,为用户提供按需、廉价的大数据存储、处理和分析服务; 

  (3)使用模式创新:基于互联网的大数据存储、管理和分析服务,提供多终端(台式机、笔记本、平板电脑、手机等)、多途径(浏览器访问,Open API 调用等)的用户使用模式。

总结:系统为统一配置,且各系统之间互相为服务式调用,每个系统多为分布式系统,解决大数据量的问题。从功能角度看,系统支持同时运行多个大数据任务,面向用户为配置,调用,和结果展示。且为其他系统提供数据录入的api。 

猜你喜欢

转载自blog.csdn.net/qq_22473611/article/details/120803918