记录Flume使用中遇到的坑

1.avro sink 连接失败

问题:
在实现自定义拦截器中,分别开启slave1、slave2,master的flume任务时,master和slave1有连接成功的日志,但master和slave2死活连不上。检查并修改了配置文件和自定义拦截器的Java代码好多次后依然连不上。
解决:
单独写了个以master的netcat作为source,slave2作为sink,slave2的控制台作为接收到master的消息的输出sink做测试,发现还是连不上,所以排除了配置文件和代码的问题。
想是不是写的slave2端口已经被占用了?然后换了个7777端口,结果报找不到路由的Java异常。百度了一下是因为防火墙没关!然后看在slave2命令行输入Firewalls-cmd --state看了一下防火墙真的没关(这是在配置hadoop虚拟机集群的时候的锅),然后关了防火墙和防火墙开机自启(systemctl disable firewalld.service),就成功连接了,问题解决。

猜你喜欢

转载自blog.csdn.net/weixin_45436471/article/details/109770916
今日推荐