druid supervisor创建和监控

    本人以实时读取kafka数据为例,展示supervisor的创建和监控,关于druid 对flatten json的解析可参照本人文章《Druid Flatten JSON解析》。

    (1)提交任务

     首先编写supervisor json文件,在json文件目录通过命令行向overlord节点提交任务


 任务提交成功会返回supervior的id,表明任务创建成功,如果错误,可到overlord.log中去查看日志。

   (2)任务监控

     通过overlord 的web UI 监控正在运行的任务。

 

  通过该监控界面可查看正在运行的task、运行日志,并可通过web关掉某个正在运行的任务。另外如果从kafka中读取数据时,针对某个topic的任务数需要根据partition数量进行确定,taskCount一般大于等于topic的partation数量,否则会造成数据读取的延迟。

另外创建任务之后,如果kafka中的topic中没有数据,会正常创建running task,但不会立即创建segments,segments会等到接受数据才创建,周期性的落盘会写入segments文件中。

(3)关闭任务

 通过命令行向overlord节点发送查询请求

curl -X GET http://overlordip:host/druid/indexer/v1/supervisor

然后通过如下请求shutdown 正在运行任务。

 curl -X POST http://overlordipLhost/druid/indexer/v1/supervisor/<supervisorNamexxxx>/shutdown

(4)任务运行日志

  实时从kafka中读取数据,会生成indexing sercice,可向druid.indexer.logs.directory配置的路径去查看相关任务运行的日志,

该属性配置的common configuration中(common.runtime.properties)

(5)查看druid datasouce

   可向coordinate节点查询datasource节点信息。

http://coordianteip:host/#/datasources

  点击某个datasouce,可查看该datasouce的segments信息。


  某个datasource详细信息可现实interval 信息列表,点击某个interval,可现实该interval时间段下创建的shard segments信息,包括dimension、metrics和location信息。

 上方图形可总体显示各时间点seegments存储情况和创建情况。

(6) 删除datasouce信息

     情况一:整体删掉某个数据源。

    1、禁用某个datasource         

curl  -X 'DELETE' "http://<coordinateip:host>/druid/coordinator/v1/datasources/<datasouceName>"

   2 、删除指定interval时间段的时间

curl -X  'DELETE' 'http://<coordinatorIp:host>/druid/coordinator/v1/datasources/<datasouceName>/intervals/1970-01-01T00:00:00.000Z_2018-06-20T00:00:00.000Z'

 其中“1970-01-01T00:00:00.000Z_2018-06-20T00:00:00.000Z”代表的删除的时间段段,如果想全部删除该时间段可设置时间范围广些,用iso8601标准时间,时间之间用_分隔,time1_time2。

  3、删除指定segmentsID 的数据

curl -X  'DELETE' 'http://<coordinatorIp>:<coordinatorPort>//druid/coordinator/v1/datasources/<datasourceName>/segments/<segmentsId>

  4、激活数据源

curl -X 'POST' "http://<coordinatorIp>:<coordinatorPort>/druid/coordinator/v1/datasources/datasourceName"

猜你喜欢

转载自blog.csdn.net/xiaobai51509660/article/details/80742984
今日推荐