flume 的安装和部署(非CDH)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zimiao552147572/article/details/88867626

大数据组件安装(非CDH)和使用 总文章

flume 的安装和部署(非CDH):
    1.tar -zxvf apache-flume-1.6.0-bin.tar.gz
      2.mv apache-flume-1.6.0-bin flume
    3.cd /root/flume/conf
    4.cp flume-env.sh.template flume-env.sh
    5.which java
          得出结果:/root/java/jdk1.8.0_45/bin/java
    6.vim flume-env.sh 修改JAVA_HOME配置信息如下:
        export JAVA_HOME=/root/java/jdk1.8.0_45

补充知识:0.0.0.0
    IPV4中,0.0.0.0地址被用于表示一个无效的,未知的或者不可用的目标。 
    在服务器中,0.0.0.0指的是本机上的所有IPV4地址,如果一个主机有两个IP地址,192.168.1.1 和 10.1.2.1,
    并且该主机上的一个服务监听的地址是0.0.0.0,那么通过两个ip地址都能够访问该服务。 
    在路由中,0.0.0.0表示的是默认路由,即当路由表中没有找到完全匹配的路由的时候所对应的路由。
 

配置案例1:
    1.cd /root/flume/conf
    2.vim netcat-logger.conf内容如下:
        # Name the components on this agent
        a1.sources = r1
        a1.sinks = k1
        a1.channels = c1

        # Describe/configure the source
        a1.sources.r1.type = netcat
        a1.sources.r1.bind = localhost
        a1.sources.r1.port = 44444

        # Describe the sink
        a1.sinks.k1.type = logger

        # Use a channel which buffers events in memory
        a1.channels.c1.type = memory
        a1.channels.c1.capacity = 1000
        a1.channels.c1.transactionCapacity = 100

        # Bind the source and sink to the channel
        a1.sources.r1.channels = c1
        a1.sinks.k1.channel = c1
    
    3.启动flume:
        1.cd /root/flume 
        2.chmod 777 flume-ng
        3.启动命令:bin/flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
                    -c conf/ 或 --conf conf/:指定 flume 框架自带的配置文件所在目录名 
                    -f conf/xxx.conf 或 --conf-file conf/xxx.conf:指定我们所自定义创建的采集方案为conf目录下的xxx.conf 
                    -name agent的名字 或 -n agent的名字:指定我们这个agent 的名字

            启动的最后会显示:Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]
            表示 flume负责监听 0.0.0.0/localhost本地任意IP地址并且port端口为44444上 传输的任何数据

        4.注意:
            此处之所以只执行“cd /root/flume”,而不是执行“cd /root/flume/bin”,是因为启动命令中要指定的是以当前路径为开始找配置文件,
            比如 “--conf conf/” 表示以 “/root/flume”的当前路径找到“conf/”。
            比如“--conf-file conf/netcat-logger.conf”表示以 “/root/flume”的当前路径找到“conf目录下的netcat-logger.conf”。

    4.测试是否搭建成功:
        1.yum install -y telnet
          telnet:在网络上进行数据传输的模拟工具

        2.telnet flume监听的地址 flume监听的端口 
          比如:此处执行的是 telnet localhost 44444
 

猜你喜欢

转载自blog.csdn.net/zimiao552147572/article/details/88867626