HDFS-シェルコマンド

一般的なコマンドパラメータの概要:

-ヘルプ:このコマンドパラメータマニュアルを出力します

[hadoop@hadoop02 ~]$ hadoop -help
[hadoop@hadoop02 ~]$ hadoop fs -help
[hadoop@hadoop02 ~]$ hadoop fs -help ls

-ls:ディレクトリ情報を表示します

hadoop fs -ls hdfs://hadoop02:9000/

注:これらのパラメーターでは、すべてのhdfsパスをhadoop fs -ls /前のコマンドの効果と同等と省略できます。

-mkdir:hdfsにディレクトリを作成します

hadoop fs -mkdir -p /aa/bb/cc/dd

-put:ファイルアップロード用のcopyFromLocalと同等

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-get:hdfsからローカルにファイルをダウンロードするcopyToLocalと同等

hadoop fs -get /aaa/jdk.tar.gz

-getmerge:複数のファイルをマージしてダウンロードします
例:getmergehdfsのディレクトリ/ aaa /に複数のファイルがあります:log.1、log.2、log.3、.. ..

hadoop fs -getmerge /aaa/log.* ./log.sum

-cp:hdfsの1つのパスからhdfsの別のパスをコピーします

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-mv:hdfsディレクトリ内のファイルを移動します

hadoop fs -mv /aaa/jdk.tar.gz /

-rm:ファイルまたはフォルダーを削除します

hadoop fs -rm -r /aaa/bbb/

-rmdir:空のディレクトリを削除します

hadoop fs -rmdir /aaa/bbb/ccc

-moveFromLocal:ローカルからhdfsにカット

hadoop fs - moveFromLocal /home/hadoop/a.txt /aa/bb/cc/dd

-moveToLocal:hdfsからローカルにカット

hadoop fs - moveToLocal /aa/bb/cc/dd /home/hadoop/a.txt

-copyFromLocal:ローカルファイルシステムからhdfsファイルシステムにファイルをコピーします

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

-copyToLocal:hdfsからローカルにコピー

hadoop fs -copyToLocal /aaa/jdk.tar.gz

-appendToFile:既存のファイルの最後にファイルを追加します

hadoop fs -appendToFile ./hello.txt hdfs://hadoop-server01:9000/hello.txt
# 可以简写为:
hadoop fs -appendToFile ./hello.txt /hello.txt

-cat:ファイルの内容を表示します

hadoop fs -cat /hello.txt

-テール:ファイルの終わりを表示します

hadoop fs -tail /weblog/access_log.1

-テキスト:ファイルの内容を文字形式で印刷します

hadoop fs -text /weblog/access_log.1

-chgrp、-chmod、-chown:Linuxファイルシステムでの使用法は同じであり、ファイルの所有権のアクセス許可

hadoop fs -chmod 666 /hello.txt
hadoop fs -chown someuser:somegrp /hello.txt

-df:ファイルシステムの使用可能なスペース情報をカウントします

hadoop fs -df -h /

-du:フォルダのサイズに関する統計

hadoop fs -du -s -h /aaa/*

-count:指定されたディレクトリ内のファイルノードの数をカウントします

hadoop fs -count /aaa/

-setrep:hdfs内のファイルのコピー数を設定します
 

hadoop fs -setrep 3 /aaa/jdk.tar.gz

補足:dfsクラスターの動作ステータスを表示するコマンド

hdfs dfsadmin -report

 

おすすめ

転載: blog.csdn.net/sanmi8276/article/details/113064480