spark中union 和 unionAll看起来相似，但是实际上操作上结果上都有区别。
union会把数据都扫一遍，然后剔除重复的数据；
然而unionAll直接把两份数据粘贴返回，时间上会快很多。
union是返回两个数据集的并集，不包括重复行，要求列数要一样，类型可以不同
unionAll是返回两个数据集的并集，包括重复行
Intersect是返回两个数据集的交集，不包括重复行
Minus是返回两个数据集的差集，不包括重复行
spark中union和unionAll
猜你喜欢
转载自blog.csdn.net/coolljp21/article/details/88255187
今日推荐
周排行