Hadoopのシリーズ（3） - MapReduceの分散コンピューティングフレームワーク

、MapReduceの概要

HadoopのMapReduceはバッチ・アプリケーションを記述するための分散コンピューティングフレームワークです。大規模なデータセットの並列処理のためのHadoopクラスタに提出することができます良いプログラムを書きます。

別々のブロックに設定された入力データによってマップリデュースジョブ、からこれらのブロックmap並列的にフレームにmap出力キューに入れられ、その後に入力されますreduce。マップリデュース具体的にするためのフレームワーク<key，value>キー処理、ジョブのセットとして入力して<key，value>対、及び一組の生成<key，value>出力としての。出力と出力keyとvalue実装しなければならない書き込み可能なインターフェイスを。

(input) <k1, v1> -> map -> <k2, v2> -> combine -> <k2, v2> -> reduce -> <k3, v3> (output)

二、MapReduceのプログラミングモデルの説明

次のようにここでは一例として、単語頻度統計で、MapReduceのプロセス・フローは次のとおりです。

1. INPUT：テキストファイルを読み込みます。

2. 分割：ラインに従ってファイルを分割し、次いで得られたK1行の数は、V1テキスト対応する行を表します。

3. マッピング：スペースに平行の各行は、分割が得られ、分割List(K2,V2)請求、K2各単語を表す周波数統計が行われるので、そのようにV21の値が、1つの発生したことを表します。
4. シャッフリング：ので、Mapping操作が異なる並列処理マシンであってもよく、それによって必要であるshuffling同じkeyこのとき得られた最終結果カウントするように、同じ値まで複合ノードへ配信データK2の各ワードに対してList(V2)反復されることをコレクションは、V2V2のマッピングです。
5. 削減：ケースをここですることは、それは統計的な単語の総数で表示されているReducingためにList(V2)縮小操作、最終的な出力を合計します。

MapReduceのプログラミングモデルsplittingとshuffing操作はフレームワークによって実装されている、私たちは自分のプログラミングを実現のみ必要mappingとreducingのMapReduceのタイトルの源です、。

三、コンバイナ＆パーティション

3.1のInputFormat＆RecordReaders

InputFormat複数の出力にファイルInputSplitによってマップの出力として、標準<キー、値>キーと値のペアに変換します。これは、論理的に分割し、よりために、標準のキーと値のペアの形式に変換する意味でのみ最初のステップであり、並列処理のための入力を提供します。RecordReadersInputSplitmap

3.2コンバイナ

combinerあるmap任意の後の操作は、それが実際にローカライズされてreduce、それは、操作を中心にされmapた中間ファイルは、単純なマージ重複にするために計算されたkey演算値を。ここでは単語頻度統計で、例えば：

map 在遇到一个 hadoop 的单词时就会记录为 1，但是这篇文章里 hadoop 可能会出现 n 多次，那么 map 输出文件冗余就会很多，因此在 reduce 计算前对相同的 key 做一个合并操作，那么需要传输的数据量就会减少，传输效率就可以得到提升。

但并非所有场景都适合使用 combiner，使用它的原则是 combiner 的输出不会影响到 reduce 计算的最终输入，例如：求总数，最大值，最小值时都可以使用 combiner，但是做平均值计算则不能使用 combiner。

不使用 combiner 的情况：

<div align="center"> <img width="600px" src="https://raw.githubusercontent.com/heibaiying/BigData-Notes/master/pictures/mapreduce-without-combiners.png"/>; </div>
使用 combiner 的情况：

<div align="center"> <img width="600px" src="https://raw.githubusercontent.com/heibaiying/BigData-Notes/master/pictures/mapreduce-with-combiners.png"/>; </div>

可以看到使用 combiner 的时候，需要传输到 reducer 中的数据由 12keys，降低到 10keys。降低的幅度取决于你 keys 的重复率，下文词频统计案例会演示用 combiner 降低数百倍的传输量。

3.3 Partitioner

partitioner 可以理解成分类器，将 map 的输出按照 key 值的不同分别分给对应的 reducer，支持自定义实现，下文案例会给出演示。

四、MapReduce词频统计案例

4.1 项目简介

这里给出一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。

Spark   HBase
Hive    Flink   Storm   Hadoop  HBase   Spark
Flink
HBase   Storm
HBase   Hadoop  Hive    Flink
HBase   Flink   Hive    Storm
Hive    Flink   Hadoop
HBase   Hive
Hadoop  Spark   HBase   Storm
HBase   Hadoop  Hive    Flink
HBase   Flink   Hive    Storm
Hive    Flink   Hadoop
HBase   Hive

为方便大家开发，我在项目源码中放置了一个工具类 WordCountDataUtils，用于模拟产生词频统计的样本，生成的文件支持输出到本地或者直接写到 HDFS 上。

项目代码下载地址：hadoop-word-count

4.2 项目依赖

想要进行 MapReduce 编程，需要导入 hadoop-client 依赖：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
</dependency>

4.3 WordCountMapper

将每行数据按照指定分隔符进行拆分。这里需要注意在 MapReduce 中必须使用 Hadoop 定义的类型，因为 Hadoop 预定义的类型都是可序列化，可比较的，所有类型均实现了 WritableComparable 接口。

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, 
                                                                      InterruptedException {
        String[] words = value.toString().split("\t");
        for (String word : words) {
            context.write(new Text(word), new IntWritable(1));
        }
    }

}

WordCountMapper 对应下图的 Mapping 操作：

WordCountMapper 继承自 Mappe 类，这是一个泛型类，定义如下：

WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>

public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> {
   ......
}

• KEYIN : mapping 输入 key 的类型，即每行的偏移量 (每行第一个字符在整个文本中的位置)，Long 类型，对应 Hadoop 中的 LongWritable 类型；
• VALUEIN : mapping 输入 value 的类型，即每行数据；String 类型，对应 Hadoop 中 Text 类型；
• KEYOUT ：mapping 输出的 key 的类型，即每个单词；String 类型，对应 Hadoop 中 Text 类型；
• VALUEOUT：mapping 输出 value 的类型，即每个单词出现的次数；这里用 int 类型，对应 IntWritable 类型。

4.4 WordCountReducer

在 Reduce 中进行单词出现次数的统计：

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, 
                                                                                  InterruptedException {
        int count = 0;
        for (IntWritable value : values) {
            count += value.get();
        }
        context.write(key, new IntWritable(count));
    }
}

如下图，shuffling 的输出是 reduce 的输入。这里的 key 是每个单词，values 是一个可迭代的数据类型，类似 (1,1,1,...)。

4.4 WordCountApp

组装 MapReduce 作业，并提交到服务器运行，代码如下：

/**
 * 组装作业 并提交到集群运行
 */
public class WordCountApp {

    // 这里为了直观显示参数 使用了硬编码，实际开发中可以通过外部传参
    private static final String HDFS_URL = "hdfs://192.168.0.107:8020";
    private static final String HADOOP_USER_NAME = "root";

    public static void main(String[] args) throws Exception {

        //  文件输入路径和输出路径由外部传参指定
        if (args.length < 2) {
            System.out.println("Input and output paths are necessary!");
            return;
        }

        // 需要指明 hadoop 用户名，否则在 HDFS 上创建目录时可能会抛出权限不足的异常
        System.setProperty("HADOOP_USER_NAME", HADOOP_USER_NAME);

        Configuration configuration = new Configuration();
        // 指明 HDFS 的地址
        configuration.set("fs.defaultFS", HDFS_URL);

        // 创建一个 Job
        Job job = Job.getInstance(configuration);

        // 设置运行的主类
        job.setJarByClass(WordCountApp.class);

        // 设置 Mapper 和 Reducer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        // 设置 Mapper 输出 key 和 value 的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        // 设置 Reducer 输出 key 和 value 的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 如果输出目录已经存在，则必须先删除，否则重复运行程序时会抛出异常
        FileSystem fileSystem = FileSystem.get(new URI(HDFS_URL), configuration, HADOOP_USER_NAME);
        Path outputPath = new Path(args[1]);
        if (fileSystem.exists(outputPath)) {
            fileSystem.delete(outputPath, true);
        }

        // 设置作业输入文件和输出文件的路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, outputPath);

        // 将作业提交到群集并等待它完成，参数设置为 true 代表打印显示对应的进度
        boolean result = job.waitForCompletion(true);

        // 关闭之前创建的 fileSystem
        fileSystem.close();

        // 根据作业结果,终止当前运行的 Java 虚拟机,退出程序
        System.exit(result ? 0 : -1);

    }
}

需要注意的是：如果不设置 Mapper 操作的输出类型，则程序默认它和 Reducer 操作输出的类型相同。

4.5 提交到服务器运行

在实际开发中，可以在本机配置 hadoop 开发环境，直接在 IDE 中启动进行测试。这里主要介绍一下打包提交到服务器运行。由于本项目没有使用除 Hadoop 外的第三方依赖，直接打包即可：

# mvn clean package

使用以下命令提交作业：

hadoop jar /usr/appjar/hadoop-word-count-1.0.jar \
com.heibaiying.WordCountApp \
/wordcount/input.txt /wordcount/output/WordCountApp

作业完成后查看 HDFS 上生成目录：

# 查看目录
hadoop fs -ls /wordcount/output/WordCountApp

# 查看统计结果
hadoop fs -cat /wordcount/output/WordCountApp/part-r-00000

五、词频统计案例进阶之Combiner

5.1 代码实现

想要使用 combiner 功能只要在组装作业时，添加下面一行代码即可：

// 设置 Combiner
job.setCombinerClass(WordCountReducer.class);

5.2 执行结果

加入 combiner 后统计结果是不会有变化的，但是可以从打印的日志看出 combiner 的效果：

メンバーじゃないのcombiner印刷ログ：

追加combiner印刷ログは、後に、次のとおりです。

ここでは、処理のためにこれだけ地図を一つだけ入力ファイルと128M未満を持っています。コンバイナを見ることができる後に、レコード3519に減少6（サンプル種単語のわずか6種類）、本実施形態で使用されるデータの量が大幅送信必要性結合を低減することができます。

六、単語頻度統計は、パーティション分割の例を進めました

6.1デフォルトのパーティション分割

異なるファイルに異なる単語の出力統計：需要があることが前提とされます。統計などの製品の売上高は、結果は製品カテゴリーに応じて分割する必要がある一方で、この需要は、実際にはより一般的です。この機能を実現するには、カスタムを使用する必要がありますPartitioner。

仕事の時間を構築するには、指定されていない場合は、使用されるデフォルトは次のとおりです。ここでは、MapReduceのデフォルトの分類規則を導入HashPartitioner：キーのハッシュハッシュ値をとnumReduceTasks余りを取ります。次のようにその実装は次のようになります。

public class HashPartitioner<K, V> extends Partitioner<K, V> {

  public int getPartition(K key, V value,
                          int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
  }

}

6.2カスタムパーティショナ

ここでは、継承Partitionerの言葉に従って分類され、ここで、カスタム分類規則を：

public class CustomPartitioner extends Partitioner<Text, IntWritable> {

    public int getPartition(Text text, IntWritable intWritable, int numPartitions) {
        return WordCountDataUtils.WORD_LIST.indexOf(text.toString());
    }
}

構成ではjob、私たち自身の時間を使用して、指定された分類ルール、およびセットreduceの数を：

// 设置自定义分区规则
job.setPartitionerClass(CustomPartitioner.class);
// 设置 reduce 个数
job.setNumReduceTasks(WordCountDataUtils.WORD_LIST.size());

6.3実行結果

以下の結果は、6つのファイルは、対応するワードの各ファイルの統計情報が生成されます。

参考資料

1. MapReduceの分散コンピューティングフレームワーク
2. ApacheのHadoopの2.9.2>のMapReduceチュートリアル
3. MapReduceの - コンバイナ

もっと大きなデータ系列は、GitHubのオープンソースプロジェクトを見つけることができます：ビッグデータははじめに