2008年美国每月最低气温大数据分析

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/CSDN_fzs/article/details/79001269
2008年美国每个月最低气温分析
1.点击 https://pan.baidu.com/s/1c1MPnSs下载2008.txt文件(这里是将2008.txt文件放在E盘中,跟Hadoop文件同处于一个盘)
2.在命令提示符下 Hadoop-2.7.3\sbin 中输入 start-all.cmd 开启Hadoop服务
3.准备输入、输出文件夹,在HDFS文件系统中创建。
Hadoop中所有的数据都必须放在HDFS文件系统中进行处理。
命令提示符中 Hadoop-2.7.3\sbin 下输入 hadoop fs -mkdir hdfs://localhost:9000/test/2008input(创建文件夹,localhost:9000为hdfs的系统目录,test和2008input是现在要创建的文件名,具体命名根据自己的需要)
输入 hadoop fs -ls hdfs://localhost:9000/test/ 查看文件是否创建成功
4.上传需要统计的 t1 文件到 hdfs://localhost:9000/test/input1 上
hadoop fs -put E:\2008.txt hdfs://localhost:9000/test/2008input
5.下载 https://pan.baidu.com/s/1o87RVXS中的mintemp.jar到E盘中。
mintemp.jar是Java编写的一个MapReduce计算最低气温的程序

6. 在jar包所在的路径,执行以下命令 hadoop jar mintemp.jar hdfs://localhost:9000/test/2008input hdfs://localhost:9000/test/2008output,运行命令之后,显示如下
7. hadoop fs -ls hdfs://localhost:9000/test/2008output 查看结果文件
8. hadoop fs -cat hdfs://localhost:9000/test/2008output/patr-r-00000 查看输出结果
9. hadoop fs -get hdfs://localhost:9000/test/2008output/patr-r-00000 下载计算结果到本地


猜你喜欢

转载自blog.csdn.net/CSDN_fzs/article/details/79001269
今日推荐