HIVE 分组排序查询

笔者在参加面试时遇到的一个关于hive数据库查询的的问题题意大概是这个样子的。有如下图结构的一个表:

表中的数据是长这个样子的: 

面试官要求我查询的结果是长这个样子的

 我第一印象觉得这个题还蛮简单的,就写了一个

select col1,col2,col3,max(col4) from test_select
group by col1,col2;

 面试官说你确定吗?我就感觉这应该有问题,但是不知道具体哪里有问题,就硬着头皮说没有问题吧.....后来我就挂了【捂脸】

痛定思痛 我回来后自己造了一些数据 在hive下运行我写的SQL 确实是不行的 原因是 select 后面 只能跟分组的列和 聚合的列 

扫描二维码关注公众号,回复: 9203560 查看本文章

正确的写法应是:

select col1,col2,col3,col4 from (SELECT *, Row_Number() OVER (partition by col1,col2 ORDER BY col4 desc) rank FROM test1) as b 
 where b.rank == 1;

使用 row_number() over (partition by 分组列 order by 排序列),这是我请教大佬后的一个写法,应该还有其他的写法,写在这里供大家参考吧

随便说一句 上面的那个错误的写法 在mysql中运行时一点问题没有的

 这样说明了hiveSQL和mysql数据库还是有很多不同的大家需要留心

hbase和mysql的区别

1.hbase是一个nosql数据库,mysql是一个sql数据库

2.hbase是基于列存储的,mysql是行存储

3.hbase的数据类型只有一个string,mysql数据类型比较丰富

4.hbase的并发量支持非常高,mysql比较低

5.如果数据需要一些业务逻辑处理,那么使用mysql,

就是简单的数据,但是存储平率非常高,使用hbase

参考

https://one-line-it.blogspot.com/2012/11/hive-expression-not-in-group-by-key.html

https://www.yuque.com/hellobigdata/bigdata/ggtkbx

发布了42 篇原创文章 · 获赞 6 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/zkyxgs518/article/details/103472419
今日推荐