在云计算大数据处理场景中,每天运行着成千上万的任务,每个任务都要进行IO读写。存储系统为了更好的服务,经常会保证高优先级的任务优先执行。当多个作业或用户访问存储系统时,如何保证优先级和公平性。
阿里盘古文件系统中采用的方案:
- 将IO请求按优先级分成多个类别,每个类有相应的权重表示该类请求占用IO带宽的比例
- IO请求根据分类放入相应的队列,队列内根据队列限制和任务做调度和丢弃
- 调度器根据相应权重从队列取出请求进行调度
参考:https://www.cnblogs.com/wxquare/p/4850167.html
也可参考以下: