Druid学习笔记(一)

一、Druid介绍

       Druid单词来源于西方古罗马的神话人物,中文常常翻译为de德鲁伊,Druid是一种分布式的支持实时分析的数据存储系统,又美国MetaMarkets于2011建立的项目。设计之初的想法就是为分析而生。

二、Druid的设计原则

  1. 快速查询:部分数据的聚合、内存化、索引
  2. 水扩展能力 :分布式数据、并行化查询
  3. 实时分析:不可改变的过去,只能追加未来

三、技术特点

  1. 数据吞吐量大:每天处理几十亿几百亿的事件对于Druid来说是非常合适的环境。
  2. 支持流式数据摄入。
  3. 查询灵活且快:、Druid支持任何维度组合上进行查询,访问速度极快。
  4. 社区支持力度大

四、简单概念

    部署环境:系统又java编写,目前支持、djk7及以上版本,在操作系统方面支持、Linux和MaxOs,内存配置建议在8G以上,如果只用于测试4G也可以。

    数据格式:Druid在摄入数据前都必须定义一个数据源,类似关系数据库中的表,每个数据集合包含三个部分:时间列、维度列、指标列。

  • 时间列:每个数据集合都必须包含时间列这个列是数据聚合的重要维度,Druid会把时间相近的数据聚合在一起,而且每次查询都必须指定查询时间范围。
  • 维度列:用了标识一些事件主要用来过滤或者切片数据 。
  • 指标列:用于和聚合数据的列,指标列通常为数值类型,计算操作通常为count、sum、、mean。

   数据摄入:Druid数据摄入主要有两种方式,一种是实时摄入一种是批量摄入,如下下图所示:

    

猜你喜欢

转载自blog.csdn.net/swh1314/article/details/84667954
今日推荐