大数据组件安装(非CDH)和使用 总文章
flume 的安装和部署(非CDH):
1.tar -zxvf apache-flume-1.6.0-bin.tar.gz
2.mv apache-flume-1.6.0-bin flume
3.cd /root/flume/conf
4.cp flume-env.sh.template flume-env.sh
5.which java
得出结果:/root/java/jdk1.8.0_45/bin/java
6.vim flume-env.sh 修改JAVA_HOME配置信息如下:
export JAVA_HOME=/root/java/jdk1.8.0_45
补充知识:0.0.0.0
IPV4中,0.0.0.0地址被用于表示一个无效的,未知的或者不可用的目标。
在服务器中,0.0.0.0指的是本机上的所有IPV4地址,如果一个主机有两个IP地址,192.168.1.1 和 10.1.2.1,
并且该主机上的一个服务监听的地址是0.0.0.0,那么通过两个ip地址都能够访问该服务。
在路由中,0.0.0.0表示的是默认路由,即当路由表中没有找到完全匹配的路由的时候所对应的路由。
配置案例1:
1.cd /root/flume/conf
2.vim netcat-logger.conf内容如下:
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
3.启动flume:
1.cd /root/flume
2.chmod 777 flume-ng
3.启动命令:bin/flume-ng agent --conf conf/ --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger=INFO,console
-c conf/ 或 --conf conf/:指定 flume 框架自带的配置文件所在目录名
-f conf/xxx.conf 或 --conf-file conf/xxx.conf:指定我们所自定义创建的采集方案为conf目录下的xxx.conf
-name agent的名字 或 -n agent的名字:指定我们这个agent 的名字
启动的最后会显示:Created serverSocket:sun.nio.ch.ServerSocketChannelImpl[/127.0.0.1:44444]
表示 flume负责监听 0.0.0.0/localhost本地任意IP地址并且port端口为44444上 传输的任何数据
4.注意:
此处之所以只执行“cd /root/flume”,而不是执行“cd /root/flume/bin”,是因为启动命令中要指定的是以当前路径为开始找配置文件,
比如 “--conf conf/” 表示以 “/root/flume”的当前路径找到“conf/”。
比如“--conf-file conf/netcat-logger.conf”表示以 “/root/flume”的当前路径找到“conf目录下的netcat-logger.conf”。
4.测试是否搭建成功:
1.yum install -y telnet
telnet:在网络上进行数据传输的模拟工具
2.telnet flume监听的地址 flume监听的端口
比如:此处执行的是 telnet localhost 44444