在Java和hive中均能进行wordcount算法,但在hive中更为简便,接下来就是在hive中实现wordcount算法的简便步骤:
1、先下载好自己所用的词频统计文件,然乎拖进自己虚拟机的主目录里;
这里我们使用西游记(xiyouji_cut.txt)作为例子
2、在虚拟机桌面右键,打开终端,输入指令启动自己的虚拟机;
指令:start-all.sh
3、启动hive
指令:hive
4、使用自己的数据库
指令:use 数据库名;
5、创建一个外部表,将西游记里面的数据导入这个外部表中;
指令:create external table xiyouji(line string)
location 'hdfs://localhost:9000/hadoop_class/hive_wordcount';
6、验证:查看表和表中的数据是否导入进去;
1)、查看表
指令:show tables;
2)、查看内容
指令:select * from xiyouji;
7、最后将各词汇装进count表中,并进行排序写出前10行的内容;
指令:select word,count(1) as count from
(select explode(split(line," ")) as word from xiyouji) temp
group by word
order by count desc limit 10;
结果显示: