01项目概述

          注!!本项目参考it18掌,用于个人学习,若有侵权请告知

         项目涉及到的知识:hadoop、hbase、hive、kafka、flume、ssm、yarn。

        运行环境:5台centos7.0,别名为s128—s132,16G内存

        各节点配置:

                        s128:zookeeper、flume、hbase、hive、yarn、hadoop

                        s129:zookeeper、flume、hbase、kafka、hive、yarn、hadoop

                        s130:zookeeper、hbase、kafka、hive、yarn、hadoop

                        s131:hbase、kafka、hive、yarn、hadoop

                        s132:hbase、hive、yarn、hadoop


        概述:s128,s130模拟生成数据到log文件,flume监听log文件,将数据发送到kafka集群里的名称为calllog的topic(主题)。然后创建hbaseConsumser(hbase消费者),从kafka中读取数据,将数据存入到hbase集群中"ns1:calllogs"表,存入hbase本意就是存入hadoop集群中的节点。然后在Web端,采用ssm框架,进行查询操作(本项目采用只实现查询操作),实现实时刷新数据显示在web页面(涉及含有ajax)。也可以采用hive-jdbc,通过hiveserver2使用hive进行查询,此时集群应启动yarn,s128启动hiveserver2服务,进行相应查询会在yarn web端口查看生成的MR作业。

        最后如果想得到可视化数据,可利用echarts得到条形图如下:


echarts官网图片:


    个人感觉比较容易使用。

猜你喜欢

转载自blog.csdn.net/a8330508/article/details/80722613