set.hive.groupby.skewindata=true专讲

2019-04-23 10:54:00

问题：

　　set.hive.groupby.skewindata=true;存在一定的局限性

问题分析：

　　skewindata配置真正起作用，有以下三种情况：

　　　　1、select count distinct ... from ...

　　　　2、select a,count(*) from .... group by a

　　　　3、select count(*),count(distinct ....) from

hive.groupby.skewindata就是根据distinct/non-distinct的选择，直接将mode从mergepartitial设置成对应的确定形式，但是当distinct和non-distinct同时存在时，选择就会出问题

图表对比：

UDAF相关mode解释