HDFSの基本的なシェル操作

ここに画像の説明を挿入

一般的なhdfsコマンド

hdfsコマンドには、プレフィックスhdfs dfs xxが必要です。これは、hadoop fs xxと同等です。好きな方法を選択してください。

コマンドの概要

ファイルを再帰的に表示する

hadoop fs -ls -R /path

マルチレベルのディレクトリを作成する

hadoop fs -mkdir -p /abc/mm/ff

複数のファイルを同時にアップロードする

hadoop fs -put abc1.txt abc2.txt /abc

このように、abc1.txtとabc2.txtを下の/ abcにアップロードして、2つのファイルをアップロードしましたが、実際には、アップロードするファイルの数だけ、hdfsはデフォルトで最後のディレクトリになります。アップロードするディレクトリ
ここに画像の説明を挿入

複数のファイルをダウンロードしてマージする

hdfs dfs -getmerge /abc/abc1.txt /abc/abc2.txt /home/hadoop/abc3.txt

使用するコマンドはgetmergeで、ダウンロードする必要のあるファイルに対応します。ここでは2つのファイルを指定しています。実際には、複数のファイルを指定できます。これがhdfs上のファイルである限り、デフォルトでローカルディレクトリとして最後のディレクトリになります。次に、ダウンロードしたabc1.txtとabc2.txtがダウンロード後に自動的にabc3.txtにマージされるように指定します

ファイルを移動

hadoop fs -mv /abc/abc1.txt /abc/mm

ここに画像の説明を挿入

ファイルをコピー

hadoop fs -cp /abc/mm/123.txt /abc

ここに画像の説明を挿入

その他の一般的なコマンド

hadoop fs -tail -f     # 监听文件

hadoop fs chmod 文件权限 文件     # 修改文件的权限 
元の9件の記事を公開 いいね!0 訪問数64

おすすめ

転載: blog.csdn.net/yangbllove/article/details/105443665