HMaster的failover 流程(二)

继续上一篇的master failover流程


master挂掉期间没有regionserver挂掉的情况。

昨天写着写着突然发现90 failover存在一个bug,今天测试了一下,果然存在。


当master处理zk上面的unassigned节点时,首先会去getchlidren。这个函数会获取zk unassigned节点

set watch(该节点删除触发nodedeleted事件,有子节点创建删除会触发nodeChildrenchanged)然后会对

unassigned下所有节点getdata(watch)并set watch。如果这些节点有些值为M_ZK_REGION_OFFLINE,会将该

region的regionstate置为offline,并加入rit队列,然空内存并重新assign出去。

这样做的目的是由于当ZK上该region的节点时offline时认为此时该region尚未open,需要重新分配。

但是有一个问题是如果这个时候region open的rpc请求已经发送出去了,那么在那台rs上面会继续处理open region这

个事件这样可能造成几个现象:

1.当rs把region open以后,master开始assign,那么该region就有可能被重新分配两次。

2.rs open region以后master assign到同一台机器,那么该assign过程中止,但是master 内存中该region数据已经

清空导致该无法进行banlance等操作。

3.由于assign动作中止,RIT中存在该region的数据且并未清除,当超时时间到以后,会重新assign,但是由于rit中的数

据和zk上的数据不匹配导致该region的数据一致存在RIT中,而且不分配,无法balance

该问题复现概率比较小,主要是由于master启动failover该查到的region在zk上处于offline状态,而且此时rs还在处理该

region。即在rs更新zk的offline状态到opening之间,failover启动并且开始assign。若要重现可在rs处理的过程sleep

一段时间,然后重启master。(ms rs发生gc时该问题可能出现概率比较大)

猜你喜欢

转载自punishzhou.iteye.com/blog/1569392
今日推荐