《基于Spark平台的资源调度策略研究现状》学习笔记

背景

集群资源管理,一般有计算资源、存储资源、网络资源。当前调度优化一般有基于数据本地研究与改进、负载均衡和基于作业优先级。

基于网络资源调度策略研究现状

大数据对网络资源的要求很高。网络资源调度,一般是基于SDN的改进。SDN,软件定义网络。使用一个控制器来使得网络达到负载均衡。对于网络资源的调度优化来达到对大数据平台调度优化。

基于节点资源调度策略研究现状

针对节点性能如计算能力、节点大小等调度策略等研究来达到负载均衡的目的,提高节点利用率。

Spark资源调度原理

Spark调度主要有两种:任务调度和资源调度。任务调度主要是通过一系列的调度器进行的作业调度,资源调度指的是实际的应用程序是如何获取资源的。

SparkContext是调度的入口,负责与主节点通信,完成申请资源的任务,进入应用程序后,它还创建高级调度对象和底层调度对象。之后,对所有任务进行分片,并且将任务集并行化,并发送给已经获取了资源的任务执行,循环执行结果。

总结

当前网络资源方向的主要研究是基于SDN集中控制,收集网络资源,进而全局考虑网络资源进行调度优化。针对结点资源分配是否合理,当前的主要研究方向是只用强化学习自适应地对任务和节点进行匹配,减少运行时间。

猜你喜欢

转载自www.cnblogs.com/chenshaowei/p/13168349.html