行转列
相关函数说明
CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串;
CONCAT_WS(separator, str1, str2,…)：它是一个特殊形式的 CONCAT()。第一个参数剩余参 数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将 为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接 的字符串之间;
注意: CONCAT_WS must be "string or array
COLLECT_SET(col)：函数只接受基本数据类型，它的主要作用是将某字段的值进行去重 汇总，产生 Array类型字段。
数据准备
| name | constellation | blood_type |
|---|---|---|
| 张三 | 白羊座 | A |
| 李四 | 处女座 | B |
| 王五 | 金牛座 | A |
| 朱六 | 白羊座 | B |
| 陈七 | 金牛座 | A |
| 许八 | 白羊座 | A |
需求
把星座和血型一样的人归类到一起。结果如下：
白羊座,A 张三|许八
处女座,B 李四
白羊座,B 朱六
金牛座,A 王五|陈七
创建 hive 表并导入数据
hive (default)> create table person_info( name string, constellation string, blood_type string)
row format delimited fields terminated by "\t";
hive (default)> load data local inpath "/data/person_info.txt" into table person_info;
按需求查询数据
hive (default)> SELECT
t1.c_b, CONCAT_WS("|",collect_set(t1.name))
FROM (
SELECT
NAME,
CONCAT_WS(',', constellation, blood_type) c_b FROM person_info
) t1
GROUP BY t1.c_b
列转行
函数说明
EXPLODE(col)：将 hive 一列中复杂的 Array 或者 Map 结构拆分成多行。
LATERAL VIEW
用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias
解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此 基础上可以对拆分后的数据进行聚合。
数据准备
| movie | category |
|---|---|
| 疑犯追踪 | 悬疑,动作,科幻,剧情 |
| Lie to me | 悬疑,警匪,动作,心理,剧情 |
| 战狼 2 | 战争,动作,灾难 |
需求
将电影分类中的数组数据展开。结果如下：
疑犯追踪 悬疑
疑犯追踪 动作
疑犯追踪 科幻
疑犯追踪 剧情
Lie to me 悬疑
Lie to me 警匪
Lie to me 动作
Lie to me 心理
Lie to me 剧情
战狼 2 战争
战狼 2 动作
战狼 2 灾难
创建 hive 表并导入数据
hive (default)> create table movie_info( movie string, category string)
row format delimited fields terminated by "\t";
load data local inpath "/data/movie.txt" into table movie_info;
按需求查询数据
hive (default)> SELECT
movie, category_name
FROM
movie_info lateral VIEW
explode(split(category,",")) movie_info_tmp AS category_name;
希望对正在查看文章的您有所帮助，记得关注、评论、收藏，谢谢您