Hadoopの上でプログラムを実行するには2つの方法をMapReduceの

それは、より熟練することができ、同時に実際の動作の理論的基礎を学ぶために時間のHadoopの期間についての知識を習得する前に、ADO、それはプログラムを数える最も簡単な言葉のHadoopの1で実行するように言いました


私はあなたの参照コードのプログラムのソースコードが書かれた3つの部分に分かれているペーストしたいと思いますまず第一に、実行フェーズをマップする、段階を減らします


地図:


  
  
  1. パッケージ wordsCountを。
  2. インポート にjava.io.IOException;
  3. 輸入 java.util.StringTokenizer;
  4. 輸入 org.apache.hadoop.io.IntWritable;
  5. 輸入 org.apache.hadoop.io.LongWritable;
  6. 輸入 org.apache.hadoop.io.Text;
  7. 輸入 org.apache.hadoop.mapreduce.Mapper;
  8. パブリック クラス WordsMapperは 拡張 マッパー < LongWritableテキストテキストIntWritableを > {
  9. @オーバーライド
  10. 保護された 無効 マップ(LongWritableキー、テキスト値、マッパー<LongWritable、テキスト、テキスト、IntWritable> .Contextコンテキスト)
  11. スロー にIOException、InterruptedExceptionが{
  12. 列ライン= value.toString()。
  13. StringTokenizerはstが= 新しい StringTokenizerは(ライン)。
  14. 一方、 (st.hasMoreTokens()){
  15. ストリング・ワード= st.nextToken()。
  16. context.write(新しいテキスト(ワード)、 新しい IntWritable( 1));
  17. }
  18. }
  19. }




削減:


  
  
  1. パッケージ wordsCountを。
  2. インポート にjava.io.IOException;
  3. 輸入 org.apache.hadoop.io.IntWritable;
  4. 輸入 org.apache.hadoop.io.Text;
  5. 輸入 org.apache.hadoop.mapreduce.Reducer;
  6. パブリック クラス WordsReduceが 拡張 リデューサー < テキストIntWritableテキストIntWritable > {
  7. @オーバーライド
  8. 保護された 無効 削減(テキストキー、反復処理可能<IntWritable>イテレータ、
  9. 減速<テキスト、IntWritable、テキスト、IntWritable> .Contextコンテキスト)が スロー にIOException、InterruptedExceptionあるが{
  10. 自動的にスタブを生成する// TODO方法
  11. int型 私は= 0を
  12. {(イテレータIntWritable I)
  13. 和=和+ i.get()。
  14. }
  15. context.write(キー、新しい IntWritable(合計));
  16. }
  17. }



実行します。


  
  
  1. パッケージ wordsCountを。
  2. 輸入 org.apache.hadoop.conf.Configuration。
  3. 輸入 org.apache.hadoop.fs.Path。
  4. 輸入 org.apache.hadoop.io.IntWritable;
  5. 輸入 org.apache.hadoop.io.Text;
  6. 輸入 org.apache.hadoop.mapreduce.Job。
  7. 輸入 org.apache.hadoop.mapreduce.lib.input.FileInputFormat。
  8. 輸入 org.apache.hadoop.mapreduce.lib.input.TextInputFormat。
  9. 輸入 org.apache.hadoop.mapreduce.lib.output.FileOutputFormat。
  10. 輸入 org.apache.hadoop.mapreduce.lib.output.TextOutputFormat。
  11. パブリック クラス を実行します {
  12. パブリック 静的 ボイド メイン(文字列[]引数)が スロー例外 {
  13. 自動的にスタブを生成する// TODO方法
  14. コンフィギュレーションの設定= 新しいコンフィギュレーション();
  15. ジョブジョブ= 新しい仕事(コンフィギュレーション)。
  16. job.setJarByClass(Run.class)。
  17. job.setJobName("言葉は数えます!");
  18. job.setOutputKeyClass(Text.class)。
  19. job.setOutputValueClass(IntWritable.class)。
  20. job.setInputFormatClass(TextInputFormat.class)。
  21. job.setOutputFormatClass(TextOutputFormat.class)。
  22. job.setMapperClass(WordsMapper.class)。
  23. job.setReducerClass(WordsReduce.class)。
  24. FileInputFormat.addInputPath(仕事、新しいパス( "HDFS://192.168.1.111:9000 /ユーザー/入力/ WC /" ));
  25. FileOutputFormat.setOutputPath(仕事、新しいパス( "HDFS://192.168.1.111:9000 /ユーザー/結果/" ));
  26. job.waitForCompletion(真の);
  27. }
  28. }

これらの変性に記載の入出力パス内で実行

このプログラムは、それがどこでも見つけることができます説明する必要はありません


最初の二つの方法でのHadoop上でこのプログラムを実行します


方法の一つ:独自のソフトウェアをコンパイルして、接続のHadoop(私はリンクのHadoopへのMyEclipseを使用)、直接プログラムを実行します。MyEclipseのチュートリアルは、私は記事の最後にあなたの参照のためのリンクを与えるのHadoop接続されます。




それはあなたが成功していること、次のメッセージを参照してください。あなたがして、操作の結果を表示することができますあなたの出力フォルダを


コンテンツの出力である第二のファイル





第二の方法:JARファイルにパッケージのMapReduce

ここでは、包装の簡単な発話方法



そして、次のステップを完了することができます


瓶の上にSSHのパスを使用した後、あなたのHadoopのインストールマシンにパッケージ化されたjarファイル(私のHadoopクラスタをLinux仮想マシンにインストールされている)の場合:


HadoopのインストールディレクトリのHadoopの下のbinディレクトリにある実行ファイル、およびそれに次の操作を行います。


私のシェルを説明するためのステートメントの下で


/home/xiaohuihui/wordscount.jar:パッケージ後のjarファイルの場所(スプレッド仮想マシンの場所)

wordsCount /ラン:場所の名前あなたのjarパッケージ主な機能は、(ここでの主な機能はRun.classである)あなたのjarファイルビューアを開くことができますが、知っているだろう


また、ファイルの入出力パスを追加しますが、私は私のプログラムでは、この文の後に設定されていることをすることができます

あなたはあなたに、その後、お祝いの言葉を上記のステートメントを実行した場合、シェルの後の成功を次の出力を参照してください!



あなたは、それはまた、ファイルシステム(:50070ローカルホスト)を表示するページをHDFSすることができ、あなたのEclipseの結果は、Hadoopのビューを接続見ることができます。


あり、非常に重要なステップがされている、あなたのHadoopが開始されていることを確認するために実行する前に、あなたのクラスタのHadoopプロセスはJPSによって開始されているかどうかを確認することができます



Eclipseの连接のHadoopます。http://blog.csdn.net/xjavasunjava/article/details/12320045


公開された31元の記事 ウォンの賞賛0 ビュー855

おすすめ

転載: blog.csdn.net/weixin_45678149/article/details/104978864