Hadoop常用shell命令

版权声明：原创不易，未经作者允许请勿随意转载！因个人能力和精力有限，难免有疏漏和不足之处，欢迎指正，谢谢~ https://blog.csdn.net/lijing742180/article/details/90582500

总结一些 Hadoop 常用的 shell 命令：

命令	说明
hadoop fs -help	查看命令帮助
hadoop fs -ls /	查看 hdfs 根目录下的文件列表
hadoop fs -put localsrc dst hadoop fs -f -put localsrc dst	上传本地文件到 hdfs，若文件已存在则报错； 若文件存在，则覆盖上传
hadoop fs -get src localdst	从 hdfs 下载文件到本地
hadoop fs -cat file	查看某个文件内容
hadoop fs -cp srcfile dstfile	复制某个文件到另一个目录下
hadoop fs -df -h /	查看磁盘使用情况
hadoop fs -du -s -h hdfs://jing-hadoop:9000/*	统计根目录下的所有文件大小； 这里必须使用 hdfs 完整目录，否则统计不到
hadoop fs -mkdir -p /aa/bb	递归创建文件夹； 若不加 -p，不能递归创建
hadoop fs -rm filename hadoop fs -rm -r /aa/bb hadoop fs -rm -r /aa	删除指定文件； 删除 bb 整个目录，aa 目录还在； 删除整个 aa 目录及其子文件夹

可以看出，Hadoop 命令跟普通的 Linux 命令很相似，只是所有的 Hadoop 命令都要带上 hadoop fs 前缀，我们最常用的就是 put、get 命令上传和下载文件。

需要注意的是，在 Hadoop 中已上传的文件内容不能被修改，但可以在原文件后面追加内容。