YARNのジョブ管理

スタートTDHクライアント

//次のTDH-Clientディレクトリ

1. cd /transwarp/Desktop/TDH-Client
   // TDHクライアントのinit.shスクリプトを実行し、このアクションは、現在のセッションでのみ有効です
2. source ./init.sh

ファイルのアップロードを入力します。

HDFSジョブ入力ディレクトリにアップロード//ローカルファイルwordcount.txt。

//ローカルwordcount.txtファイルを作成し、完全なデータが書き込まれ、

1. echo -e "Deer Bear River\nCar Car River\nDeer Car Bear" > wordcount.txt
   // HDFSのジョブ入力ディレクトリを作成します
2. hadoop fs -mkdir -p /training/hanwenhao/yarn_data/wordcount_input
   //ジョブ入力ディレクトリにアップロードさwordcount.txtます
3. hadoop fs -put wordcount.txt /training/hanwenhao/yarn_data/wordcount_input/

ジョブの実行

// HadoopのMapReduceのサンプルプログラムのHadoopのMapReduce--例-2.7.2-トランスワープ-6.0.2.jar WORDCOUNTジョブ提出の
糸にし、その結果を実行します。

//ディレクトリを変更します

1. cd /transwarp/Desktop/TDH-Client/hadoop/hadoop-mapreduce
   / *提出とYARNにジョブを実行します。
2. hadoop jar hadoop-mapreduce-examples-2.7.2-transwarp-6.2.0.jar wordcount /training/hanwenhao/yarn_data/wordcount_input /training/hanwenhao/yarn_data/wordcount_output

仕事の出力

出力WORDCOUNTジョブを確認//、出力ディレクトリを見ては、生成された出力ファイルは、単語の出現頻度の統計を完了するかどうかを見て作成されます。

//出力ディレクトリを作成するかどうかを確認してください

1. hadoop fs -ls /training/hanwenhao/yarn_data/wordcount_output
   //出力ファイルの内容を確認してください
2. hadoop fs -cat /training/hanwenhao/yarn_data/wordcount_output/{wordcount_output_filename}

管理の仕事

//糸グラフィカル監視インタフェース、表示する前に、ケースを実行するタスクを入力します。
糸をチェックトランスワープManagerクラスタのケースを入力し
、マスタノードの糸を見つけるために、Web管理インターフェイスを入力します。