MapReduceの题：
-
クラスタノード/usr/hdp/2.4.3.0-227/hadoop-mapreduce/ディレクトリに、ケースJARパッケージのHadoop、MapReduceの-examples.jarあります。パイπの近似値を計算するために、PI、5回を実行するために必要なマップタスクを実行しているJARパッケージは、各スローカウントマップタスクは5です。
マスター〜]＃@ルートsu hdfs
[HDFS @マスター〜] $cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
[HDFS @マスターのHadoop-のMapReduce] $hadoop jar hadoop-mapreduce-examples.jar pi 5 5
地図のナンバー= 5
地図あたりのサンプル= 5は、
地図＃0用のINPUTを書いた
地図＃用のINPUTを書いた。1は、
地図＃2用のINPUTを書きました
地図のためのINPUT＃3は書い
地図＃4のためのINPUTを書いた
仕事開始
8050：このResourceManager ATのslaver1.hadoop / 10.0.0.104への接続：19/05/03午前16時08分42秒INFO client.RMProxy
19/05/03午後04時08を：42 INFO client.AHSProxy：アプリケーションへの接続 slaver1.hadoop / 10.0.0.104で歴史サーバ：10200
19/05/03午前16時08分42秒INFOのinput.FileInputFormat：5：プロセスへの総入力経路
19/05/03午前16時08分42秒INFO mapreduce.JobSubmitter：分割数：5
19/05/03 16：08 ：43 INFO mapreduce.JobSubmitter：ジョブのサブミットトークン：job_1556738815524_0004
19/05/03 16時08分43秒INFO impl.YarnClientImpl：提出アプリケーションapplication_1556738815524_0004
19/05/03 16時08分43秒INFOのmapreduce.Job：追跡するためのURL仕事します。http：// slaver1.hadoop：8088 /プロキシ/ application_1556738815524_0004 /
19/05/03午後04時08分43秒INFO mapreduce.Job：実行中のジョブ：job_1556738815524_0004
19/05/03 16時08分50秒INFOのmapreduce.Job ：ユーバーモードで実行中のジョブjob_1556738815524_0004：偽
19/05/03午前16時08分50秒INFOのmapreduce.Job：マップ0％0％を削減します
19/05/03 16時08分57秒INFO mapreduce.Jobマップ20％が低減0％
19/05/03午前16時08分58秒INFO mapreduce.Jobマップ40％減少させる0％
19/05/03 16：09 ：01 INFO mapreduce.Jobマップ60％、0％低減
マップ80％が0％低減：19/05/03 16時09分04秒INFOのmapreduce.Job
19/05/03 16時09分05秒INFOのmapreduce.Jobをマップします100％は0％削減
19/05/03 16時09分09秒INFOのmapreduce.Jobを：マップ100％、100％削減する
仕事job_1556738815524_0004が正常に完了：19/05/03 16時09分十秒INFOのmapreduce.Job
19/05/03に16時09分10秒INFOのmapreduce.Job：カウンター：49
ファイルシステムのカウンタ
FILE：バイト数読み込む= 116
FILE：バイト数書か= 886989
FILE：読み取り操作の数= 0
FILE：大規模な読み取り操作の数= 0
FILE ：書き込み操作の数= 0
HDFSは：バイト数は、1340年には=を読ん
= 215の書き込まれたバイト数：HDFS
読み取り操作の数= 23：HDFS
HDFS：大規模な読み取り操作= 0の数
HDFS：書き込み操作の数= 3
ジョブカウンター
進水マップタスク= 5
進水減らしますタスク= 1
のデータ-ローカルマップタスク= 5
占有スロットにすべてのマップで費やした合計時間（ミリ秒）= 44726
すべてで過ごした合計時間は、占有スロットが減少（MS）= 7838
合計時間すべてのマップタスク（ミリ秒）で過ごした= 22363
すべてで過ごした合計時間は、タスク（MS）= 3919減らす
すべてのマップタスクで撮影した総VCORE-ミリ秒= 22363
すべてに要した合計VCORE-ミリ秒の作業を減らす= 3919
すべてのマップタスクで撮影した総メガバイト-ミリ秒= 34349568を
すべてで撮影した総メガバイト-ミリ秒の作業を減らす= 8026112
地図-削減枠組み
マップ入力レコード= 5
地図の出力レコードが= 10
地図出力バイト= 90
マップ出力は、マテリアライズド・バイト= 140
入力分岐バイト= 750の
コンバイン入力レコード= 0
出力レコードを結合= 0
入力グループを削減= 2
削減シャッフルバイト= 140は、
入力レコードを削減= 10
= 0出力レコードを減らし
こぼれたレコード= 20の
たShuffled地図= 5
失敗シャッフル= 0
マージマップ出力= 5
GCの経過時間（ミリ秒）= 400
CPU時間（費やしMS）= 5840
の物理メモリ（バイト）スナップショット= 5756882944
仮想メモリ（バイト）スナップショット= 19876769792
総コミットヒープの使用量（バイト）= 5479333888の
シャッフルエラー
BAD_ID = 0
CONNECTION = 0
IO_ERROR = 0
WRONG_LENGTH = 0
WRONG_MAP = 0
WRONG_REDUCE = 0
ファイル入力形式カウンター
読み取りバイト= 590
ファイルの出力形式のカウンター
= 97書き込まれたバイト
28.341秒で完了しました仕事
円周率の推定値は3.68000000000000000000です -
クラスタノード/usr/hdp/2.4.3.0-227/hadoop-mapreduce/ディレクトリに、ケースJARパッケージのHadoop、MapReduceの-examples.jarあります。単語数、/ 1daoyun /出力ディレクトリへの演算結果の出力は、クエリワードカウント結果のコマンドを使用してに/1daoyun/file/BigDataSkills.txtファイル上で実行されているWORDCOUNT JARパッケージ。
マスター〜@ルート]＃su hdfs
[HDFSマスター@〜] $cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
[マスターHadoopのHDFS-MapReduceの] $ @hadoop jar hadoop-mapreduce-examples.jar wordcount /1daoyun/file/BigDataSkills.txt /1daoyun/output
19/05/03 16時13分07秒INFO client.RMProxy：このResourceManager ATのslaver1.hadoopへの接続/ 10.0.0.104：8050
INFO client.AHSProxy夜4時13分07秒19/05/03：slaver1.hadoop / 10.0.0.104にアプリケーションサーバーの歴史への接続：10200
19/05/03 16時13分08秒INFOのinput.FileInputFormat：INPUTトータルプロセスへのパス：1
19/05/03 16時13分08秒mapreduce.JobSubmitter INFO：分割数:. 1
19/05/03 16時13分08秒mapreduce.JobSubmitter INFO：ジョブの提出のトークン：job_1556738815524_0005
19/05/03 16時13分09秒INFO impl.YarnClientImpl：提出アプリケーションapplication_1556738815524_0005
19/05/03 16時13分09秒INFOのmapreduce.Job：仕事を追跡するためのURLます。http：// slaver1.hadoop：8088 /プロキシ/ application_1556738815524_0005 /
19/05/03午後04時13分09秒INFOのmapreduce.Job：実行中のジョブ：job_1556738815524_0005
19/05/03午前16時13分17秒INFOのmapreduce.Job：ジョブjob_1556738815524_0005はユーバーモードで実行されている：偽
19/05 / 03 16時13分17秒INFO mapreduce.Job：マップ0％0％削減
100％を0％に減らすマップ：19/05/03午後4時13分23秒INFO mapreduce.Job
19/05/03夜04時13分30秒INFOのMapReduceのを.JOB：マップ100％削減100％
19/05/03 16時13分31秒INFO mapreduce.Job：ジョブjob_1556738815524_0005が正常に完了
カウンタ：49 19/05/03 16時13分31秒INFOのmapreduce.Job
ファイルシステムのカウンタを
FILE：バイト数= 158読み取り
= 295257書き込まれたバイト数：FILE
読み取り動作の数= 0：FILE
FILE：大読み出し動作の数= 0
FILE：書き込み回数= 0
HDFS：バイト数= 265読み取り
HDFSを：= 104の書き込まれたバイト数
読み取り動作の数= 6：HDFS
HDFS：大読み出し動作= 0の数
HDFS：書き込み回数= 2つの
ジョブカウンタ
発売マップタスク= 1つの
減らす起動タスク= 1
データローカルマップタスク= 1
占有スロット（MS）= 7322ですべてのマップで過ごした合計時間
のすべてで過ごした合計時間は、占有スロット（MS）= 10228に減少し
、すべてのマップタスクが費やした合計時間（ミリ秒）= 3661
すべてで過ごした合計時間は、タスク（MS）= 5114減らす
すべてのマップタスクで撮影した総VCORE-ミリ秒= 3661
すべてに要した合計VCORE-ミリ秒タスク= 5114減らす
すべてのマップタスクで撮影した総メガバイト-ミリ秒= 5623296
要した合計メガバイト-ミリ秒すべてのタスクを減らすことによって= 10473472
フレームワークマップ-削減
マップ入力レコード= 11
マップ出力レコード= 22
地図出力バイト= 230
マップ出力マテリアライズドバイト= 158
入力分割バイト= 121件の
コンバイン入力レコードが= 22の
コンバイン出力レコード= 12
入力グループを削減= 12
= 158シャッフルバイトを減らして
12 =入力レコードの削減
=出力レコードを削減12の
= 24のこぼれたレコード
たShuffled地図= 1を
失敗シャッフル= 0
マージされた地図を出力= 1
GCの経過時間（ミリ秒）= 116
CPU時間を費やした（MS）= 2220
物理メモリ（バイト）スナップショット= 1325559808
仮想メモリ（バイト）スナップショット= 6946390016
総コミットヒープの使用量（バイト）= 1269301248
エラーシャッフル
BAD_ID = 0
CONNECTION = 0
IO_ERROR = 0
WRONG_LENGTH = 0
WRONG_MAP = 0
WRONG_REDUCE = 0
ファイルの入力形式カウンター
読み取りバイト= 144の
ファイル出力フォーマットカウンタ
バイト書か= 104
[HDFS @マスターのHadoop-のMapReduce] $のhadoop fs -cat /1daoyun/output/part-r-00000
1ドッキングウィンドウを
elasticsearch 1
水路1つの
Hadoopの5
HBaseの1つの
ハイブ3
カフカ1つの
Redisの1
Solrの1
スパーク5
sqoop 1
嵐1 -
クラスタノード/usr/hdp/2.4.3.0-227/hadoop-mapreduce/ディレクトリに、ケースJARパッケージのHadoop、MapReduceの-examples.jarあります。次の表の別々の操作上の問題の数に計算結果を実行している数独JARパッケージ。。
マスター@〜ルート]＃su hdfs
[@ HDFSマスター〜] $cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
マスターHDFSのHadoop-のMapReduce] $ @を[hadoop jar hadoop-mapreduce-examples.jar sudoku /opt/puzzle1.dta
解決、/opt/puzzle1.dta
。8. 7. 1 2. 5. 4. 3. 6. 9
。9 4. 3. 1 2 8. 6. 7. 5
。6. 7. 5 4. 9. 1 2 8 3
。1 5 4 2 3 7 8 9 6
。3 6 9 8 4 5 7 2 1
2 8 7 1 6 9 5 3 4
5 2 1 9 7 4 3 6 8
。4. 3. 8 5 2 6 9 1 7
。7 9 6 8 4 3 1 5 2
1つのソリューションを見つけました
クラスタノード/usr/hdp/2.4.3.0-227/hadoop-mapreduce/ディレクトリ4.は、ケースJARパッケージのHadoop、MapReduceの-examples.jarあります。/1daoyun/file/BigDataSkills.txtファイル、ファイルシステムの回数をカウントするグレッププログラムの実行JARパッケージ「Hadoopのは」統計、クエリ統計情報の完了後、表示されます。
マスタールート〜@]＃su hdfs
HDFSマスター〜@ [] $ cd /usr/hdp/2.6.1.0-129/hadoop-mapreduce/
マスターHDFSのHadoopのMapReduce - @ [] $hadoop jar hadoop-mapreduce-examples.jar grep /1daoyun/file/BigDataSkills.txt /1daoyun/output hadoop