【大数据Hive3.x数仓开发】HiveSQL如何使用explode&lateral view实现单列转多行

【大数据Hive3.x数仓开发】HiveSQL行转列应用

1 列转行：多列转多行–union 函数

【大数据Hive3.x数仓开发】HiveSQL行转列应用 中1 多行转多列的相反过程

union:将读个select结果合并，结果去重且排序
union all:结果不去重不排序

2 列转行：单列转多行–UDTF函数explode

explode：用于将集合或数组中每个元素展开，将每个元素拆开变成一行。

注意需要的数据类型：explode(Map|Array)
所以要使用爆炸函数时，要不再建表时设置成array类型，要不之后使用split转换成array：select explode(split(col3,',')) from a;

执行效果满足输入一行输出多行，所以叫UDTF函数–表生成函数
功能介绍：

• 可以直接单独使用
• 可以结合lateral view侧视图配合使用！
  • explode(array)array每个元素生成一行。
  • explode(Map)map每对元素作为一行，key一列，value一列。

select 
	col1
	,col2
	,lv.col3 as col3
from a 
	lateral view
		explode(split(col3,',')) lv as col3; 	

UDTF函数语法限制–为什么要lateral view？

关于配合侧视图，要讲到UDTF函数的语法限制，explode返回的结果可以理解为一张虚拟表，数据来源于源表；
因此不能再只查询源表的情况下，同时返回源表和虚拟表字段！
结局方法是，对两张表进行join关联查询，Hive中专门语法lateral view侧视图用来解决这个需求。
再提供一个例子，应该对语法有更清晰的理解了：

hive lateral view原理

将UDTF的结果构建成一个类似干视图的表，然后将原表中的每一行和UDTF函数输出的每一行进行行连接，生成一张新的虚拟表。这样就避免了UDTF的使用限制问题。

使用lateral view时也可以对UDTF产生的记录设置字段名称，产生的字段可以用于group byorder by、limit等语句中，不需要再单独嵌套一层子查询。