Windowsでのhadoop MapReduceの簡単な使用

ガイドパッケージ：

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>

hadoop-core.1.2.1.jarのorg.apache.hadoop.fs.FileUtil.classを解凍ツールに置き換えます

• 交換手順

  • 新しいFileUtil.javaクラス
  • checkReturnValue（）メソッドの内容をコメント化します。
  • 再コンパイル
  • 交換する

  完成したFileUtil.classを再コンパイルします

サンプルコード

import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapred.*;

import org.apache.hadoop.mapred.lib.LongSumReducer;
import org.apache.hadoop.mapred.lib.TokenCountMapper;

import java.io.IOException;

public class WordCount {
    public static void main(String argv[]) throws IOException {

        JobClient client = new JobClient();
        JobConf conf = new JobConf(WordCount.class);


        FileInputFormat.addInputPath(conf,new Path("input"));
        FileOutputFormat.setOutputPath(conf,new Path("output"));


        conf.setOutputKeyClass(Text.class);
        conf.setOutputValueClass(LongWritable.class);
        conf.setMapperClass(TokenCountMapper.class); 
        conf.setCombinerClass(LongSumReducer.class); 
        conf.setReducerClass(LongSumReducer.class);


        client.setConf(conf);

        JobClient.runJob(conf);
    }

}

終わり