从kafka往hbase写数据时无法写入的问题(region server中出现与master的默认hostname相同的regionserver节点)

        在通过flume将生产的日志传递到kafka再通过kafka向hbase写入数据的时候出现问题

在执行到flushCommits()

        这一步的时候程序卡着不动了,无法进行下一步执行

        检查Master:16010发现region server这一项中有一个与服务器初始用户的hostname相同的主机version为unknown,但是在hbase的conf中配置的regionservers中并没有配置localhost这一项 ,并且将master节点kill掉之后进入到backup-master节点中也出现了这种情况,backup-master的默认hostname为vm_centos*********   在列表中也出现了相同名称的regionserver

        出现这种情况会导致划分的regions会有一部分被放置在这一不存在的regionserver中去导致后续无法将数据flushcommit

        后经思考可能是因为公网ip与服务器的绑定阶段的问题,因为在之前配置zookeeper的时候出现过配置文件中写自己的ip会出现找不到主机的问题,因为esc实例的公网ip是独立于服务器的而不是在服务器的网卡上面,所以服务器无法通过自己的公网ip找到自己。猜测hbase出现这个问题可能是因为类似的原因

        故在hbase的配置文件regionservers中将master和backup-master的信息删除掉暂时只留下一台regionserver--->>huawei这一节点

        再次启动进入master:16010中查看region server这一项果然没有出现之前的情况

        尝试在代码中启动程序后开始生产日志发现控制台成功的持续输出,这说明向hbase中写入数据成功

        遂进入hbase中scan'ns_ct:calllog'成功的查询到数据

猜你喜欢

转载自blog.csdn.net/u012580143/article/details/84872394
今日推荐