hadoop HDFS常用文件操作命令

1. put

基本语法:

hadoop fs -put < local file > < hdfs file >

hdfs file的父目录一定要存在,否则命令不会执行

hadoop fs -put  < local file or dir >...< hdfs dir >

hdfs dir 一定要存在,否则命令不会执行

hadoop fs -put - < hdsf  file>

从键盘读取输入到hdfs file中,按Ctrl+D结束输入,hdfs file不能存在,否则命令不会执行

自己试验:
上传到指定目录
hdfs dfs -put mxdai_baiqishi_risk_parse.py hdfs:///user/hive/lib/

2. rm

基本语法:

hadoop fs -rm < hdfs file > ...
hadoop fs -rm -r < hdfs dir>...

每次可以删除多个文件或目录

自己试验:
删除原始文件
hdfs dfs -rm hdfs:///user/hive/lib/mxdai_baiqishi_risk_parse.py

3. get
hadoop fs -get < hdfs file > < local file or dir>

local file不能和 hdfs file名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地

hadoop fs -get < hdfs file or dir > ... < local  dir >

拷贝多个文件或目录到本地时,本地要为文件夹路径
注意:如果用户不是root, local 路径要为用户文件夹下的路径,否则会出现权限问题,

自己试验:

copy文件到自己目录:
hdfs dfs -get hdfs:///user/hive/lib/sab_risk_parse.py 




hdfs dfs -rm hdfs:///user/hive/lib/ sab_risk_parse.py
hdfs dfs -put sab_risk_parse.py hdfs:///user/hive/lib/


hdfs dfs -rm /user/hive/lib/mxdai_baiqishi_risk_parse.py
hdfs dfs -ls /user/hive/lib
hdfs dfs -put /home/shuhua.zhao/mxdai_baiqishi_risk_parse.py /user/hive/lib



ref: 

1. https://segmentfault.com/a/1190000002672666

猜你喜欢

转载自blog.csdn.net/littlecarton/article/details/79471292