在通过flume将生产的日志传递到kafka再通过kafka向hbase写入数据的时候出现问题
在执行到flushCommits()
这一步的时候程序卡着不动了,无法进行下一步执行
检查Master:16010发现region server这一项中有一个与服务器初始用户的hostname相同的主机version为unknown,但是在hbase的conf中配置的regionservers中并没有配置localhost这一项 ,并且将master节点kill掉之后进入到backup-master节点中也出现了这种情况,backup-master的默认hostname为vm_centos********* 在列表中也出现了相同名称的regionserver
出现这种情况会导致划分的regions会有一部分被放置在这一不存在的regionserver中去导致后续无法将数据flushcommit
后经思考可能是因为公网ip与服务器的绑定阶段的问题,因为在之前配置zookeeper的时候出现过配置文件中写自己的ip会出现找不到主机的问题,因为esc实例的公网ip是独立于服务器的而不是在服务器的网卡上面,所以服务器无法通过自己的公网ip找到自己。猜测hbase出现这个问题可能是因为类似的原因
故在hbase的配置文件regionservers中将master和backup-master的信息删除掉暂时只留下一台regionserver--->>huawei这一节点
再次启动进入master:16010中查看region server这一项果然没有出现之前的情况
尝试在代码中启动程序后开始生产日志发现控制台成功的持续输出,这说明向hbase中写入数据成功
遂进入hbase中scan'ns_ct:calllog'成功的查询到数据