シェルスクリプトコマンドのHadoopのHDFSの概要

https://www.cppentry.com/bencandy.php?fid=115&id=223457

まず、HDFSシェルの基本的な考え方

1.コールファイルシステム（FS）シェルコマンドは、ビン/ Hadoopのfsはコマンドを使用するか、ビンHDFS DFSフォーム/コマンド必要があります。【簡単にするために、一般binディレクトリのパスに追加]
コマンドパラメータとして2.すべてのFSシェルURIパス。
　 URIフォーマットスキーム：//権限/パス。HDFSスキームは、HDFS、ローカルファイルシステムであり、スキームがファイルです。前記スキームと権威はオプションであり、不特定添加していない場合は、デフォルトの設定は、スキームで指定されました。たとえば：HDFS：//名前ノード：namenodePort /親/子は、 AS /親/子表現することができる（設定ファイルを想定したが、名前ノードである：namenodePort）
行動3.ほとんどのFSシェルコマンドとコマンドに対応するには、同様のLINUXシェルです。

二、HDFSのシェルコマンド

 

-help [CMD]コマンドについて//表示ヘルプ情報

-ls（R）<パス> //現在のディレクトリ内のすべてのファイルを表示します

-du（S）<パス> //ディレクトリのサイズ内のすべてのファイルを表示

-count [-q] <パス> //ディレクトリ内のファイル数を表示します

-mv <SRC> <DST> //ターゲット・ディレクトリに複数のファイルを移動します

-cp <SRC> <DST> //ターゲット・ディレクトリに複数のファイルをコピーします

-rm（R）//ファイル（フォルダ）を削除

HDFSへ-put <localsrc> <DST> //ローカルファイルをコピーします。

-copyFromLocal //同プット

HDFSへのローカルファイルから-moveFromLocal //移動

-get [-ignoreCrc] <SRC> <localdst> //ローカルCRCチェックにファイルをコピーすることは無視することができます

-getmerge <SRC> <localdst> //一つのファイルにソースディレクトリマージ内のすべてのファイルを並べ替えます

-cat <SRC> //端末内のファイルの内容を表示します

-text <SRC> //端末内のファイルの内容を表示します

-copyToLocal [-ignoreCrc] <SRC> <localdst> //ローカルコピー

-moveToLocal <SRC> <localdst>

-mkdir <パス> //フォルダを作成します。

-touchz <パス> //空のファイルを作成します

 

三、HDFSのシェルコマンド（練習）

#hadoop FS -ls /ビューHDFSのルートディレクトリ
#hadoop FS -mkdir /テストは、テストのルートディレクトリ内のディレクトリを作成
#hadoop FS -put ./test.txt /またはテスト#hadoop FS -copyFromLocal /test.txt /テストアップロードファイルを
#hadoop FS -get /test/test.txtまたは#hadoop FS -getToLocal /test/test.txtダウンロードファイル
#hadoop FS -rm /test1/test.txt削除ファイル
#hadoop FS -rmr / test1のフォルダの削除
#hadoopをFS -mv /test/test.txt / test1の移動ファイル