Hadoop中的一些基本操作——HDFS操作

1.显示指定目录的内容,若集群根目录有teacher目录,显示目录内容则命令为

hadoop fs -ls /teacher

2.在指定位置创建目录,若需要在集群目录中创建子目录abc,则命令为

hadoop fs -mkdir /teacher/abc     //在teacher目录中创建子目录

hadoop fs -mkdir /abc             //在集群根目录创建子目录

hadoop fs -mkdir -p /aaa/bbb/cc   -p参数:允许一次性创建多级目录

3.将本地文件剪切到集群指定位置,若本地/temp目录下有一个文件log.dat,需要剪切到student下,命令为

hadoop fs -moveFromLocal /temp/log.dat /student/

4.将本地文件上传到集群指定位置,若本地/temp目录下有一个文件log.dat,上传到student下,命令为

hadoop fs -put /temp/log.dat /student  或

hadoop fs -copyFromLocal /temp/log.dat /student

5.上传文件,若将本地/temp/data文件夹所有内容上传到集群的/student目录下,命令为

hadoop fs -put /temp/data /student 或

hadoop fs -copyFromLocal /temp/data /student

6.复制集群中文件到集群另一目录,将/student下log.dat复制到/abc下并改名为tt.dat

hadoop fs -cp /student/log.dat /abc/tt.dat

7.删除集群中指定文件,将/abc下的tt.dat删除

hadoop fs -rm /abc/tt.dat

8.设置集群中指定文件的副本数量,若设置/student/log.dat的副本为2,命令为

hadoop fs -setrep 2 /student/log.dat

9.显示集群中指定文件的内容,若显示/student/log.dat的内容,命令为

hadoop fs -cat  /student/log.dat

10.将集群中指定文件下载到本地,若将/student下log.dat文件下载本地目录下

hadoop fs -get /student/log.dat            //当前目录

hadoop fs -get /student/log.dat  /temp     //本地指定目录  或

hadoop  fs  -copyToLocal  /student/log.dat  /temp    

猜你喜欢

转载自blog.csdn.net/weixin_42492218/article/details/81210824