【阿里巴巴大数据实践笔记】第13章:计算管理

计算平台追求目标:目前内部 MaxCompute 集群上有 200 多万个任务,每天存储资源、计算资源消耗都很大。 如何降低计算资源的消耗,提高任务执行的性能,提升任务产出的时间

1.系统优化

(1)HBO (History-Based Optimiz町, 基于历史的优化器)

(2)CBO (Cost-Based Optimizer , 基于代价的优化器)

收集到的表、分区、索引等统计信息来计算每种执行方式的代价( Cost ),进而选择其中代价最少的执行方式。

但对表和列上统计信息的收集也是有代价的,收集统计信息会消耗大量资源。MaxCompute 采用各种抽样统计算法,通过较少的资源获得大量的统计信息,最大化提高统计信息利用率。  

2.任务优化

猜你喜欢

转载自www.cnblogs.com/badboy200800/p/9885580.html