spark队列 实现分配资源(实时流)

spark队列 实现分配资源(实时流)

学习地址:https://www.cnblogs.com/xiaodf/p/6266201.html

前言 :为什么要 使用队列 来分配资源?
首先你要了解 yarn的三种调度器。我的一篇博客中已经写了。
然后,由于是实时流 所以是实时的,不是直接在spark-master 或者spark-shell 分配资源就可以了。所以我们需要用一个队列 来分配资源 给一个实时流业务 。

sparkstreaming 学习地址:https://www.cnblogs.com/shishanyuan/p/4747735.html

发布了105 篇原创文章 · 获赞 87 · 访问量 3万+

猜你喜欢

转载自blog.csdn.net/zengxianglei/article/details/93521325