Hadoop3.0.3 HDFS 常用shell 命令

1、启动Hadoop

./start-all.sh

[root@elk-server sbin]# ./start-all.sh
Starting namenodes on [elk-server]
上一次登录：日 11月 24 21:57:43 CST 2019从 192.168.88.1pts/0 上
elk-server: Warning: Permanently added 'elk-server,192.168.88.135' (ECDSA) to the list of known hosts.
Starting datanodes
上一次登录：日 11月 24 22:44:47 CST 2019pts/0 上
node1: WARNING: /usr/local/hadoop/hadoop-3.0.3/logs does not exist. Creating.
Starting secondary namenodes [elk-server]
上一次登录：日 11月 24 22:44:50 CST 2019pts/0 上
Starting resourcemanager
上一次登录：日 11月 24 22:44:55 CST 2019pts/0 上
Starting nodemanagers
上一次登录：日 11月 24 22:45:02 CST 2019pts/0 上

2、检查Hadoop服务启动情况

jps

[root@elk-server sbin]# jps
7713 NameNode
8516 Jps
8201 ResourceManager
7965 SecondaryNameNode

3、检查HDFS 系统根目录

hadoop fs -ls /

[root@elk-server sbin]# hadoop fs -ls /

4、HDFS创建文件夹

hadoop fs -mkdir /test

[root@elk-server sbin]# hadoop fs -mkdir /test
[root@elk-server sbin]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2019-11-25 00:15 /test

5、HDFS 创建级联文件夹

hadoop fs -mkdir -p /input/data

[root@elk-server sbin]# hadoop fs -mkdir -p /input/data
[root@elk-server sbin]# hadoop fs -ls /
Found 2 items
drwxr-xr-x   - root supergroup          0 2019-11-25 00:18 /input
drwxr-xr-x   - root supergroup          0 2019-11-25 00:15 /test

6、HDFS查看系统根目录下指定文件夹包括的文件

hadoop fs -ls -R /input

[root@elk-server sbin]# hadoop fs -ls -R /input
drwxr-xr-x   - root supergroup          0 2019-11-25 00:18 /input/data

7、HDFS上传文件

hadoop fs -put words.txt /input/data

[root@elk-server data]# hadoop fs -put words.txt /input/data
[root@elk-server data]# hadoop fs -ls -R /input/data
-rw-r--r--   1 root supergroup         38 2019-11-25 00:24 /input/data/words.tx

8、HDFS 下载文件

hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt

[root@elk-server data]# hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt
[root@elk-server data]# ll
总用量 8
-rw-r--r-- 1 root root 38 11月 25 00:27 newwords.txt
-rw-r--r-- 1 root root 38 11月 25 00:23 words.txt

9、HDFS 文件复制

hadoop fs -cp /input/data/words.txt /test

[root@elk-server data]# hadoop fs -cp /input/data/words.txt /test
[root@elk-server data]# hadoop fs -ls /test
Found 1 items
-rw-r--r--   1 root supergroup         38 2019-11-25 00:30 /test/words.txt

10、HDFS 文件移动

hadoop fs -mv /test/words.txt /input

[root@elk-server data]# hadoop fs -mv /test/words.txt /input
[root@elk-server data]# hadoop fs -ls /input
Found 2 items
drwxr-xr-x   - root supergroup          0 2019-11-25 00:24 /input/data
-rw-r--r--   1 root supergroup         38 2019-11-25 00:30 /input/words.txt

11、HDFS 删除文件或文件夹

hadoop fs -rm /input/words.txt

[root@elk-server data]# hadoop fs -rm /input/words.txt
Deleted /input/words.txt
[root@elk-server data]# hadoop fs -ls /input
Found 1 items
drwxr-xr-x   - root supergroup          0 2019-11-25 00:24 /input/data

删除空目录

hadoop fs -rmdir /test

[root@elk-server data]# hadoop fs -rmdir /test
[root@elk-server data]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2019-11-25 00:37 /input

强制删除

hadoop fs -rm -r /input

[root@elk-server data]# hadoop fs -rm -r /input
Deleted /input
[root@elk-server data]# hadoop fs -ls /

12、HDFS 查看文件内容

hadoop fs -cat /input/data/words.txt

[root@elk-server data]# hadoop fs -mkdir -p /input/data
[root@elk-server data]# hadoop fs -put words.txt /input/data
[root@elk-server data]# hadoop fs -ls /
Found 1 items
drwxr-xr-x   - root supergroup          0 2019-11-25 00:42 /input
[root@elk-server data]# hadoop fs -cat /input/data/words.txt
hell zhangsan
hello lisi
hello wangwu
[root@elk-server data]#

13、HDFS 修改文件权限，参考Linux 指令之chmod

14、HDFS 修改文件所属组，参考Linux指令之chgrp

15、HDFS 修改为文件所属用户，参考Linux指令之chown

16、HDFS 显示文件相关属性值，参考Linux 指令之du

[root@elk-server data]# hadoop fs -du /input/data/words.txt
38  38  /input/data/words.txt

17、HDFS 显示文件大学，参考Linux 指令之dus

[root@elk-server data]# hadoop fs -dus /input/data/words.txt
dus: DEPRECATED: Please use 'du -s' instead.
38  38  /input/data/words.txt

18、HDFS 清空回收站,参考Linux 指令之expunge

[root@elk-server data]# hadoop fs -expunge  #清空回收站

19、setrep

使用方法：hadoop fs -setrep [-R] <path>

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例：

hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

20、tail

使用方法：hadoop fs -tail [-f] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

示例：

hadoop fs -tail pathname

返回值：
成功返回0，失败返回-1。

21、test

使用方法：hadoop fs -test -[ezd] URI

选项：
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录，则返回1，否则返回0。

示例：

- hadoop fs -test -e filename

22、查看Hadoop集群状态

hdfs dfsadmin -report

[root@elk-server data]# hdfs dfsadmin -report
Configured Capacity: 18238930944 (16.99 GB)
Present Capacity: 13269663744 (12.36 GB)
DFS Remaining: 13269647360 (12.36 GB)
DFS Used: 16384 (16 KB)
DFS Used%: 0.00%
Replicated Blocks:
	Under replicated blocks: 0
	Blocks with corrupt replicas: 0
	Missing blocks: 0
	Missing blocks (with replication factor 1): 0
	Pending deletion blocks: 0
Erasure Coded Block Groups: 
	Low redundancy block groups: 0
	Block groups with corrupt internal blocks: 0
	Missing block groups: 0
	Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 192.168.88.136:9866 (node1)
Hostname: node1
Decommission Status : Normal
Configured Capacity: 18238930944 (16.99 GB)
DFS Used: 16384 (16 KB)
Non DFS Used: 4969267200 (4.63 GB)
DFS Remaining: 13269647360 (12.36 GB)
DFS Used%: 0.00%
DFS Remaining%: 72.75%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Mon Nov 25 00:53:27 CST 2019
Last Block Report: Sun Nov 24 22:44:58 CST 2019

在奋斗的大道

发布了1266 篇原创文章 · 获赞 275 · 访问量 290万+

他的留言板关注

Hadoop3.0.3 HDFS 常用shell 命令

猜你喜欢