【分布式】hadoop安装篇(5)验证和一些命令

在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。

验证

【在NDFS中创建目录,用于执行MapReduce jobs。】
$ hdfs dfs -mkdir /user             //这和linux的命令很是相识,前面加上-(-ls,-cat, -rmdir等等),这个目录是建在NDFS的img上的。
$ hdfs dfs -mkdir /user/<username>  //如果username为wei,此命令为hdfs dfs -mkdir /user/wei。注意这是缺省目录,但需要建立

【仍使用wordcount的例子进行检查】
【(1)上传输入到NDFS,统计的文件在本地名字为mytest.txt】
$ hdfs dfs -put mytest.txt input/mytest.txt //将本地当前目录的mytest.txt上传至NDFS的/user/wei/input/mytest.txt中
【(2)进行mapreduce的进行】
$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/mytest.txt output
【(3)查看结果,可以直接上NDFS查看,也可以导入到本地文件系统中查看】
【 3.1)直接在NDFS中查看】
$ hdfs dfs -ls output/
Found 2 items
-rw-r--r--   1 gsta supergroup          0 2018-05-18 11:21 output/_SUCCESS
-rw-r--r--   1 gsta supergroup         33 2018-05-18 11:21 output/part-r-00000
$ hdfs dfs -cat output/part-r-00000
Hello,  2
friend! 1
my      1
world!  1
【3.2)导入到本地文件系统中查看】
$ hdfs dfs -get output output  //hdfs dfs -get <src> <localdst>,将源输出的output,放入到本地目录output下,实际为output/output

一些命令

  • -mkdir
  • -ls
  • -ls -R
  • -put 上传一个文件 hdfs dfs -put data.txt /data/input
  • -moveFromLocal 上传一个文件,会删除本地文件
  • -copyFromLocal 上传一个文件,同-put
  • -copyToLocal 下载文件
  • -get 下载文件 hdfs dfs -get /data/input/data.txt
  • -rm 删除文件
  • -getmerge 将目录所有的文件先合并,再下载
  • -cp
  • -mv
  • -count 统计目录下的文件个数等
  • -text, -cat
  • -balancer 平衡操作

猜你喜欢

转载自blog.csdn.net/flowingflying/article/details/80758191