Spark资源结论

1.只要提交 applicton master 不管状态如何 都会接着跑 Task 因为 任务是在 work节点上跑到 如果不指定 excutor 的核心数 和内存 默认是会使用 集群的所有资源
2.那样的话 如果同时有两个 applicton应用程序 那么 第二个会等第一个执行完后 Excutor 才会执行第二个 applicton
*****(重点)Spark 是 pipelline 管道计算模式进行处理的 pipelline只在 Transfromation(行为) 的算子上进行 Action 目前本人不知道

发布了19 篇原创文章 · 获赞 5 · 访问量 490

猜你喜欢

转载自blog.csdn.net/qq_42890382/article/details/103877213
今日推荐