第12课:spark高可用(HA)框架

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012036736/article/details/80029875

worker管理资源:内存,cpu

只有standby模式的master变成active模式时才能想集群提交任务,master切换过程不会影响程序的运行

原因:程序在具体运行之前已经向集群申请过资源,这些资源已经提交给driver了,也就是说已经分配好资源了,这是粗粒度分配,一次性分配资源后不需要再关心资源分配,在运行时让executor和driver自动交互,弊端是如果资源分配太多,任务运行完不会很快释放,造成资源浪费

细粒度:任务提交太慢

安装好zookeeper查看任务运行情况

猜你喜欢

转载自blog.csdn.net/u012036736/article/details/80029875