Flume与kafka的整合——aboutyun

1、完成安装flume,

(流程:先解压安装包、配置环境变量、flume agent的配置、flume与kafkak之间的传送数据、然后做消费的验证)

2、完成Kafka sink的配置

具体步骤如下:

1、先将flume上传至home目录下面 ,

      然后对其进行解压。使用命令 :  tar -zxvf apache-flume-1.7.0-bin.tar.gz  -C data

    

2、进入其目录,将其路径拷贝出来。

   

    然后回到home下面,对.bash_profile 进行编辑   输入命令: vi .bash_profile

     将其路径添加进去。还有bin也添加进去

 然后保存退出。

 3、然后用命令使其生效   输入命令  :    source .bash_profile   回车。

      到此,也就按照完成了,(也就是一个解压和配置就完成了)

然后配置flume的agent ,agent其实它是一个java的应用。agent下面会有三个组件。

 a、用于接收或生产数据的source。                                                                                                                                                                    b、数据缓冲和传输的channels。                                                                                                                                                                  c、将数据传送到agent或传送到目的地的一个组件叫sinks

配置这个组件呢,是在Flume安装目录下面有个config  serverf的目录下进行配置。

agent的配置由两大部分,

 第一部分是agent的命名

第二部分是具体组件的参数配置

具体如下:

1、先进入到flume的conf目录下面,进行配置。

因为没有test.properties文件。所以要创建一个

输入命令:touch   test.properties   回车

      然后进入编辑  输入命令: vi   test.properties    进去

 

然后保存退出。

2、配置好了之后,需要对一些文件夹进行创建,作为 positionFile 文件的存储路径

所以要进到flume的 文件目录下面, 

输入命令:  mkdir   test   如图所示(是在flume的目录下面的)

还有一个data/testlog  是在data下面创建的   所以先回到data目录下面

输入命令: mkdir  testlog    回车

3、然后通过ll命令 进行查看

到这里也就是配置完了,接着就可以启动agent了。启动agent之前呢,先启动zookeeper 与kafka  。                                                    因为他们和kafka之间实现数据传输

4、agent的启动是,进入到flume的bin目录下面

5、启动完后,可以往文件上面写信息,data下面的testlog。现在可以往里面写信息

(在 此之前,打开kafka的消费监听topic ,输入命令

./kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic test --from-beginning)

进行实时监控(消费)

当给testlog写入信息的时候,这里是能看得到的。

如图所示

   

这个也就是模拟了日记文件了。

到这来kafka和flume的整合完毕。

发布了190 篇原创文章 · 获赞 16 · 访问量 19万+

猜你喜欢

转载自blog.csdn.net/penghao_1/article/details/103619207