在hive中实现wordcount算法

       在Java和hive中均能进行wordcount算法,但在hive中更为简便,接下来就是在hive中实现wordcount算法的简便步骤:

1、先下载好自己所用的词频统计文件,然乎拖进自己虚拟机的主目录里;

 这里我们使用西游记(xiyouji_cut.txt)作为例子

2、在虚拟机桌面右键,打开终端,输入指令启动自己的虚拟机;

指令:start-all.sh

3、启动hive

指令:hive

4、使用自己的数据库

指令:use 数据库名;

 5、创建一个外部表,将西游记里面的数据导入这个外部表中;

指令:create external table xiyouji(line string)
location 'hdfs://localhost:9000/hadoop_class/hive_wordcount';

6、验证:查看表和表中的数据是否导入进去;

1)、查看表

指令:show tables;

2)、查看内容 

指令:select * from xiyouji;

7、最后将各词汇装进count表中,并进行排序写出前10行的内容;

指令:select word,count(1) as count from
(select explode(split(line," ")) as word from xiyouji) temp
 group by word
order by count desc limit 10;

结果显示:

猜你喜欢

转载自blog.csdn.net/yh1009/article/details/130354702
今日推荐