Spark内核源码深度剖析（4） -Master解析

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u012292754/article/details/86078226

1 Master 主备切换

• Master 可以配置2个，Spark原生的 standlone模式是支持Master主备切换的。
• Spark Master 主备切换可以基于2种机制，一种是基于文件系统的，一种是基于 Zookeeper的。基于文件系统的主备切换机制，需要在 Active Master挂掉之后，手动去切换到 standby master 上；基于 zookeeper 的主备切换机制，可以实现自动切换 Master;

1.1 清理机制

1. 从内存缓存结构中移除；
2. 从相关的组件的内存缓存中移除；
3. 从持久化存储中移除；

2 Master 注册机制