杏彩平台出租与HAWQ

HAWQ使用动态分配的虚拟段为查询执行提供资源。

在HAWQ 1.x,用于运行查询的segments(计算资源载体)是固定的,杏彩平台出租[企俄:2152876294] 网址diguaym.com不管底层查询是需要很多资源的大查询还是需要很少资源的小查询。这个架构很简单,然而它使用资源的效率很低。

为了解决这个问题,HAWQ现在使用运行时执行弹性查询特性,它基于虚拟段。HAWQ根据查询的成本需求分配虚拟段。换句话说,对于大型查询,HAWQ启动了大量的虚拟段,而对于小型查询,HAWQ启动的虚拟段较少。

Storage
在HAWQ中,被调用segments 的数量根据查询成本的不同而不同。为了简化表数据管理,一个关系的所有数据都保存在一个HDFS文件夹下。

对于所有HAWQ表存储格式、AO (append only)和Parquet,数据文件都是可分割的,这样HAWQ就可以分配多个虚拟段并发地使用一个数据文件,以增加查询的并行性。

Physical Segments and Virtual Segments
在HAWQ中,一台主机上只有安装一个物理segment,在这台主机上可以启动多个虚拟segment来运行查询。HAWQ根据需要在不同主机之间分配多个虚拟segment以运行一个查询。虚拟segment是内存和CPU等资源的载体(容器)。查询由虚拟segment中的查询执行程序执行。

Note: 在本文档中,当我们提到段本身时,我们指的是物理段。

Virtual Segment Allocation Policy
根据虚拟段分配策略分配不同数量的虚拟段。以下因素决定用于查询的虚拟段的数量:

查询运行时可用的资源
查询的成本
表的分布;换句话说,随机分布的表和哈希分布的表
查询是否涉及UDFs 和外部表
特定的服务器配置参数,例如用于哈希表查询的default_hash_table_bucket_number和hawq_rm_nvseg_perquery_limit

猜你喜欢

转载自blog.51cto.com/13924532/2160300
今日推荐