Hadoopの名前ノードの-format:フォーマット操作を使用してHDFSシェルインターフェイス
HadoopのFSの-ls /のHadoopのfs -ls /ユーザー:ドキュメントを表示
HDFSは、使用します。
これは、シェルインターフェイス、コマンドライン操作を提供します
#フォーマット-formatのHadoop名前ノード
名前ノードのHadoopのfs -ls /#印刷/ファイルのディレクトリのリスト
Hadoopのfsは-mkdir入力#ディレクトリを作成します。
hadoop-env.sh入力/#アップロードファイル-put入力のHadoop FS
Hadoopのfsはhadoop-env.shディレクトリでの入力に-get入力/ abc.sh hadoop-envcomp.sh#入力ディレクトリからファイルをダウンロード
Hadoopのfsは-cat入力/ hadoop-env.sh#は、ファイル入力/ hadoop-env.shのHadoop dfsadminの-report #dfsレポートを表示します
HadoopのFS -ls /アプリケーション/ハイブ/倉庫/ t_log_2016
原則のMapReduce
MapReduceの:分割統治、より小さなサブタスク(MAP)、並列実行マージ結果の複数に大きなタスク(減らします)
TaskTrackerの役割1.タスク2.タスクのステータスレポートを実行します
JobTrackerの役割1.スケジュール2. 3の実施の進捗状況を監視するタスクは、TaskTrackerの状態を監視し、タスクを割り当てます
マップ:1念頭に置いて、各単語の統計情報のセグメンテーションを減らす:同じノードで同じ鍵をマージ
1.アドレスの後に-dのjavac -classpath /opt/hadoop-1.2.1/hadoop-core-1.2.1.jar:/opt/hadoop-1.2.1/lib/commons-cli-1.2.jarをコンパイルしたJavaファイルをコンパイルしますファイルをコンパイル
javacの-classpath /usr/lib/ambari-server/hadoop-core-1.2.1.jar:/usr/lib/ambari-server/commons-cli-1.3.1.jar
/root/.m2/repository/org/apache/hadoop/hadoop-common/2.7.1.2.3.4.0-3347
/hadoop-common-2.7.1.2.3.4.0-3347.jar
/root/.m2/repository/org/apache/hadoop/hadoop-mapreduce-client-core/2.7.1.2.3.4.0-3347/hadoop-mapreduce-client-core-2.7.1.2.3.4.0-3347。びん
/root/.m2/repository/commons-cli/commons-cli/1.3.1/commons-cli-1.3.1.jar
パッケージの.jarファイル名特定の.class -cvfパック命令ジャーの後に2
/入力/ * input_wordcount -put HadoopのFS:実施例3は、提出された文書ファイルパスのHadoopのHadoopのfs -putへの入力パスを送信します
前記のHadoop Hadoopのジャージャーパッケージ実行パス入力出力ディレクトリ名ディレクトリ名例を実行するためにメイン関数(メインクラス名、メインクラスメソッド名)JARの名前を登録します。
Hadoopのジャーword_count_class / wordcount.jar WORDCOUNT input_wordcount output_wordcount
/ usr / local / Hadoopの/共有/ Hadoopの/ MapReduceの