HDFSの原理は、フォーマット操作のMapReduceにシェルインターフェイスを使用します

Hadoopの名前ノードの-format:フォーマット操作を使用してHDFSシェルインターフェイス

HadoopのFSの-ls /のHadoopのfs -ls /ユーザー:ドキュメントを表示

 

HDFSは、使用します。

これは、シェルインターフェイス、コマンドライン操作を提供します

#フォーマット-formatのHadoop名前ノード

名前ノードのHadoopのfs -ls /#印刷/ファイルのディレクトリのリスト

Hadoopのfsは-mkdir入力#ディレクトリを作成します。

hadoop-env.sh入力/#アップロードファイル-put入力のHadoop FS

Hadoopのfsはhadoop-env.shディレクトリでの入力に-get入力/ abc.sh hadoop-envcomp.sh#入力ディレクトリからファイルをダウンロード

Hadoopのfsは-cat入力/ hadoop-env.sh#は、ファイル入力/ hadoop-env.shのHadoop dfsadminの-report #dfsレポートを表示します

HadoopのFS -ls /アプリケーション/ハイブ/倉庫/ t_log_2016

原則のMapReduce

MapReduceの:分割統治、より小さなサブタスク(MAP)、並列実行マージ結果の複数に大きなタスク(減らします)

TaskTrackerの役割1.タスク2.タスクのステータスレポートを実行します

 

JobTrackerの役割1.スケジュール2. 3の実施の進捗状況を監視するタスクは、TaskTrackerの状態を監視し、タスクを割り当てます

マップ:1念頭に置いて、各単語の統計情報のセグメンテーションを減らす:同じノードで同じ鍵をマージ

 

 

1.アドレスの後に-dのjavac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jarをコンパイルしたJavaファイルをコンパイルしますファイルをコンパイル

javacの-classpath /usr/lib/ambari-server/hadoop-core-1.2.1.jar:/usr/lib/ambari-server/commons-cli-1.3.1.jar

/root/.m2/repository/org/apache/hadoop/hadoop-common/2.7.1.2.3.4.0-3347

/hadoop-common-2.7.1.2.3.4.0-3347.jar

/root/.m2/repository/org/apache/hadoop/hadoop-mapreduce-client-core/2.7.1.2.3.4.0-3347/hadoop-mapreduce-client-core-2.7.1.2.3.4.0-3347。びん

/root/.m2/repository/commons-cli/commons-cli/1.3.1/commons-cli-1.3.1.jar

パッケージの.jarファイル名特定の.class -cvfパック命令ジャーの後に2

/入力/ * input_wordcount -put HadoopのFS:実施例3は、提出された文書ファイルパスのHadoopのHadoopのfs -putへの入力パスを送信します

前記のHadoop Hadoopのジャージャーパッケージ実行パス入力出力ディレクトリ名ディレクトリ名例を実行するためにメイン関数(メインクラス名、メインクラスメソッド名)JARの名前を登録します。

Hadoopのジャーword_count_class / wordcount.jar WORDCOUNT input_wordcount output_wordcount

 

/ usr / local / Hadoopの/共有/ Hadoopの/ MapReduceの

おすすめ

転載: blog.csdn.net/oZuoLuo123/article/details/87806271
おすすめ