flume1.8使用常见问题的解决方法

前提:hadoop集群已搭建好且已经起来。这里是hadoop2.7.3。zookeeper版本是3.4.6。flume版本是1.8。

常见问题如下:

这是因为flume默认读取utf-8编码的文件,但是文件本身不是utf-8编码。你可以把文件转换成utf-8格式的文件在放到上传目录。也可以用一下命令修改(本人没试过)。

iconv 你的文件名 -f 原来编码格式 -t UTF-8 -o 修改后文件名 --verbose。

缺少jar包。将$HADOOP_HOME/share/hadoop/common/lib下的htrace-core-3.1.0-incubating.jar复制到$HBASE_HOME/lib下。

这可能是你没有将hadoop添加到环境变量。添加进去即可。一个示例(添加了hadoop和java):

export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/itcast/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
最后附一个flume1.8启动成功后控制台最终效果,跟1.5不同,1.5貌似是控制台一直输出。1.8不是。可以对比下:

你在上传目录添加文件之后会继续输出信息。

在我的另一篇配置flume单节点的文章里,也列举了一些常见问题。如果这里你没看到。可能会在那里看到。

猜你喜欢

转载自blog.csdn.net/youjiangtengwan1/article/details/83650465