MapReduceはされる分散コンピューティングのプログラミングフレームワークプログラム、ユーザーがコアフレームワーク「データ分析アプリケーションのHadoop上で」開発することである。MapReduceのコア機能は、ビジネス・ロジックとユーザーが記述したコードのデフォルトのコンポーネントを統合することである完全な分散コンピューティングに入ってきますこのプログラムは、Hadoopクラスタ上で同時に実行します。

1なぜMapReduceの

1）ハードウェアリソースの制約ので、単一マシン上の大量のデータを処理し、修飾することができません

2）分散型クラスタランニングに拡張するためのプログラムのスタンドアロンバージョンと、プログラムが大幅に複雑さと開発の難しさを増加します

性的な分散コンピューティングの複雑さは、フレームワークによって処理されながら3）導入のMapReduceフレームワークは、開発者は、ビジネスロジックの開発に作業のほとんどを集中することができます。

問題分散アプローチのMapReduceの4）考察

（1）算術論理そうでない場合は最初のポイントを閉じた後？

どのように（2）プログラムは、（スライス）コンピューティングタスクを割り当て？

どのように（3）二段階のスタートアップ？どのように調整するには？

（4）モニタリングを通じて実行？フォールトトレラント？再試行？

分散型プログラムは多くの問題を考慮する必要がありますが、我々は、開発者がビジネスロジックに集中することができ、分散アプリケーションの枠組みの中で公共の関数としてパッケージ化することができます。そして、MapReduceは、分散プログラムのために、このような共通のフレームワークです。

2 MapReduceのコアアイデア

1）分散コンピューティングプログラムは、多くの場合、少なくとも2つの段階に取り

完全に並列に実行する2）第一段maptask同時インスタンス、互いに独立し

3）第2のタスク無関係の同時インスタンスを減らすの位相が、そのデータは、すべての同時インスタンスの出力の位相に依存しているmaptask

4）のMapReduceプログラミングモデルは、1つのマップのみの相を含むことができ、A相を減らし、ユーザーのビジネス・ロジックが非常に複雑であれば、それだけでシリアルを実行している複数のプログラムをMapReduceのことができます

3 MapReduceのプロセス

完全なプログラムのMapReduce分散ランタイムのプロセスにおける3件のインスタンスがあります。

1）MrAppMaster：プログラムのスケジュールと状態の調整のプロセス全体の責任

2）MapTask：全体的なデータ処理フローマップステージの責任

3）ReduceTask：全体的なデータ処理フロー減らす段階を担います

4 MapReduceのプログラミング仕様（定型書き込み）

書かれたプログラムは、3つの部分に分かれ：マッパー、リデューサー、ドライバー（提出されたクライアントプログラムが実行されているMR）

1）マッパーステージ

彼らの親を継承する（1）ユーザ定義マッパー

（2）マッパーの入力データは、KV（KVカスタマイズ型）の形態であります

（3）マップ内マッパーロジック（）メソッド

（4）マッパーの出力データは、KV（KVカスタマイズ型）の形態であります

（5）それぞれのマップ（）メソッド（MapTask処理）<K、V>は一度呼び出さ（この場合が呼び出される<K、V>は、コンテンツの各列のK->行番号、V->、行によって処理することができます）

2）減速ステージ

彼らの親を継承する（1）ユーザー定義のリデューサー

（2）出力データ型の種類に応じた減速マッパー入力データを、また、KV

（3）論理の減速は内（）メソッドを減らします

（4）各kの集合<K、V>グループを一旦下げる（）メソッドと呼ばれる同様の処理をReducetask

提出するDrvierを必要とするジョブは、プログラムの3）ドライバのステージをオブジェクト、すべての必要な情報の記述を提出

WORDCOUNTケース

1）マッパークラスを定義します。

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
/**
 * KEYIN:输入数据的key  文件的行号
 * VALUEIN：每行的输入数据
 *
 * KEYOUT：输出数据 的key
 * VALUEOUT:输出数据的value类型
 *
 * KEYIN:默认情况下，是mr框架所读到的一行文本的起始偏移量，Long;
 * 在hadoop中有自己的更精简的序列化接口，所以不直接用Long，而是用LongWritable
 * VALUEIN:默认情况下，是mr框架所读到的一行文本内容，String;此处用Text
 *
 * KEYOUT:是用户自定义逻辑处理完成之后输出数据中的key,在此处是单词，String；此处用Text
 * VALUEOUT，是用户自定义逻辑处理完成之后输出数据中的value，在此处是单词次数，Integer，此处用IntWritable
 */
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
     //hello world
     //atguigu atguigu
     /**
      * map阶段的业务逻辑就写在自定义的map()方法中
      * maptask会对每一行输入数据调用一次我们自定义的map()方法
      */
     @Override
     protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
          // 1获取这一行数据
          String line = value.toString();
          // 2 获取每一个单词
          String[] words = line.split(" ")
          // 3 输出每一个单词，将单词输出为<单词，1>
          for(String word:words){
              context.write(new Text(word), new IntWritable(1));
          }
     }
}

2）クラスが減速を定義します

import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
/**
 * KEYIN , VALUEIN 对应mapper输出的KEYOUT, VALUEOUT类型
 * KEYOUT，VALUEOUT 对应自定义reduce逻辑处理结果的输出数据类型 KEYOUT是单词 VALUEOUT是总次数
*/
public class WordcountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
     //atguigu 1 atguigu 1
     @Override
     protected void reduce(Text key, Iterable<IntWritable> values,
                        Context context) throws IOException, InterruptedException {
          // 1 统计所有单词个数
          int count = 0;
          for(IntWritable value:values){
              count += value.get();
          }
          // 2输出所有单词个数
          context.write(key, new IntWritable(count));
     }
}

3）ジョブとジョブ投入を記述するために使用され、メインクラスを定義します

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
// 驱动主程序
public class WordcountDriver {
     public static void main(String[] args) throws Exception {
          // 1 获取job对象信息
          Configuration configuration = new Configuration();
          Job job = Job.getInstance(configuration);
          // 2 设置加载jar位置
          job.setJarByClass(WordcountDriver.class);
          // 3 设置mapper和reducer的class类
          job.setMapperClass(WordcountMapper.class);
          job.setReducerClass(WordcountReducer.class);
          // 4 设置输出mapper的数据类型
          job.setMapOutputKeyClass(Text.class);
          job.setMapOutputValueClass(IntWritable.class);
          // 5 设置最终数据输出的类型
          job.setOutputKeyClass(Text.class);
          job.setOutputValueClass(IntWritable.class);
          // 6 设置输入数据和输出数据路径
          FileInputFormat.setInputPaths(job, new Path(args[0]));
          FileOutputFormat.setOutputPath(job, new Path(args[1]));
          // 7 提交
          boolean result = job.waitForCompletion(true);
          System.exit(result ? 0 : 1);
     }
}

5のMapReduceプログラムの実行フロー分析

1）対応するファイルディレクトリに格納されたファイル入力プログラムのMapReduceを読み取ります。

2）クライアントが送信する前に（）メソッドが処理され、次いで、クラスタの構成パラメータに従ってタスク割り当て計画を形成するデータを取得し、実行します。

3）クライアントは、このResourceManagerの糸がMRAppMasterを開始し、糸にjob.split、ジャーパッケージ、job.xmlおよびその他の書類を提出します。

4）現在のジョブの開始MRAppMaster記述情報の後、及び、その後、機械を適用maptask必要なインスタンスの数を計算するには、maptaskクラスタの対応する数の処理を開始します。

5）データを読み取るために、顧客指定のInputFormatを使用maptask、KVは、入力対を形成します。

ユーザ定義マップ（）メソッドに送信された入力に対して6）maptaskのKV、論理演算を行います

KVはキャッシュをmaptaskするために収集した後、7）マップ（）操作が完了しています。

8）KV maptaskのキャッシュパーティションKは、これまでのディスク・ファイルに書き込まご注文後に従うこと

9）MRAppMaster後reducetaskプロセスを顧客が指定したパラメータ、データ分割によれば、全てmaptaskプロセス・タスクが完了reducetaskプロセスの対応する数を監視し、通知が処理されます。

10）Reducetask処理が開始された後、データを通知MRAppMaster位置は台湾maptaskの数は、いくつかのmaptask出力ファイルに実行されているマシンから得、配置されて処理される、ソート局所的に再合流し、その後のためにKV同じキーをたどりますグループ、ユーザ定義コールは、論理演算を行う（）メソッドを減らします。

11）Reducetask動作が完了した後、発呼顧客指定OUTPUTFORMATは、外部記憶装置に、得られたデータを出力します。

二、Hadoopのシリアル化されました

1 Writable序列化

序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。

反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。

Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后，会附带很多额外的信息（各种校验信息，header，继承体系等），不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制（Writable），精简、高效。

1.1 常用数据序列化类型

1.2 自定义bean对象实现序列化接口

1）自定义bean对象要想序列化传输，必须实现序列化接口，需要注意以下7项。

（1）必须实现Writable接口

（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造

（3）重写序列化方法

（4）重写反序列化方法

（5）注意反序列化的顺序和序列化的顺序完全一致

（6）要想把结果显示在文件中，需要重写toString()，且用”\t”分开，方便后续用

（7）如果需要将自定义的bean放在key中传输，则还需要实现comparable接口，因为mapreduce框中的shuffle过程一定会对key进行排序

三、MapReduce框架原理

MapReduce工作流程：

MapReduce详细工作流程（一）

MapReduce详细工作流程（二）

流程详解：

1 MapTask并行度决定机制

问题引出：

maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？

MapTask并行度决定机制：

一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片个数决定，

2 InputFormat数据切片机制

2.1 FileInputFormat切片机制

1）job提交流程源码详解

2）FileInputFormat源码解析(input.getSplits(job))

（1）找到你数据存储的目录。

（2）开始遍历处理（规划切片）目录下的每一个文件

（3）遍历第一个文件ss.txt

a）获取文件大小fs.sizeOf(ss.txt);

b）计算切片大小computeSliteSize(Math.max(minSize,Math.max(maxSize,blocksize)))=blocksize=128M

c）默认情况下，切片大小=blocksize

d）开始切，形成第1个切片：ss.txt—0:128M 第2个切片ss.txt—128:256M 第3个切片ss.txt—256M:300M（每次切片时，都要判断切完剩下的部分是否大于块的1.1倍，不大于1.1倍就划分一块切片）

e）将切片信息写到一个切片规划文件中 f）整个切片的核心过程在getSplit()方法中完成。

g）数据切片只是在逻辑上对输入数据进行分片，并不会再磁盘上将其切分成分片进行存储。InputSplit只记录了分片的元数据信息，比如起始位置、长度以及所在的节点列表等。

h）注意：block是HDFS上物理上存储的存储的数据，切片是对数据逻辑上的划分。

（4）提交切片规划文件到yarn上，yarn上的MrAppMaster就可以根据切片规划文件计算开启maptask个数。

3）FileInputFormat中默认的切片机制：

（1）简单地按照文件的内容长度进行切片

（2）切片大小，默认等于block大小

（3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

比如待处理数据有两个文件：

经过FileInputFormat的切片机制运算后，形成的切片信息如下：

4）FileInputFormat切片大小的参数配置

通过分析源码，在FileInputFormat中，计算切片大小的逻辑：Math.max(minSize, Math.min(maxSize, blockSize));

切片主要由这几个值来运算决定

mapreduce.input.fileinputformat.split.minsize=1 默认值为1

mapreduce.input.fileinputformat.split.maxsize= Long.MAXValue 默认值Long.MAXValue

因此，默认情况下，切片大小=blocksize。

maxsize（切片最大值）：参数如果调得比blocksize小，则会让切片变小，而且就等于配置的这个参数的值。

minsize （切片最小值）：参数调的比blockSize大，则可以让切片变得比blocksize还大。

5）获取切片信息API

// 根据文件类型获取切片信息

FileSplit inputSplit = (FileSplit) context.getInputSplit();

// 获取切片的文件名称

String name = inputSplit.getPath().getName();

2.2 CombineTextInputFormat切片机制

关于大量小文件的优化策略

1）默认情况下TextInputformat对任务的切片机制是按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个maptask，这样如果有大量小文件，就会产生大量的maptask，处理效率极其低下。

2）优化策略

（1）最好的办法，在数据处理系统的最前端（预处理/采集），将小文件先合并成大文件，再上传到HDFS做后续分析。

（2）补救措施：如果已经是大量小文件在HDFS中了，可以使用另一种InputFormat来做切片（CombineTextInputFormat），它的切片逻辑跟TextFileInputFormat不同：它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个maptask。

（3）优先满足最小切片大小，不超过最大切片大小

CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);// 4m

CombineTextInputFormat.setMinInputSplitSize(job, 2097152);// 2m

举例：0.5m+1m+0.3m+5m=2m + 4.8m=2m + 4m + 0.8m

3）具体实现步骤

3 分区讲解——Shuffle机制

3.1 概述

1) mapreduce中，map阶段处理的数据如何传递通过reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle;

2) shuffle：洗牌、发牌（核心机制:数据分区、排序、緩存）;

3) 具体来说：就是将maptask输出的处理结果数据，分发给reducetask, 并在分发的过程中，对数据按key进行了分区和排序。

3.2 Shuffle机制

Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。

3.3 WritableComparable排序

排序是MapReduce框架中最重要的操作之一。Map Task和Reduce Task均会对数据（按照key）进行排序。该操作属于Hadoop的默认行为。任何应用程序中的数据均会被排序，而不管逻辑上是否需要。默认排序是按照字典顺序排序，且实现该排序的方法是快速排序。

对于Map Task，它会将处理的结果暂时放到一个缓冲区中，当缓冲区使用率达到一定阈值后，再对缓冲区中的数据进行一次排序，并将这些有序数据写到磁盘上，而当数据处理完毕后，它会对磁盘上所有文件进行一次合并，以将这些文件合并成一个大的有序文件。

对于Reduce Task，它从每个Map Task上远程拷贝相应的数据文件，如果文件大小超过一定阈值，则放到磁盘上，否则放到内存中。如果磁盘上文件数目达到一定阈值，则进行一次合并以生成一个更大文件；如果内存中文件大小或者数目超过一定阈值，则进行一次合并后将数据写到磁盘上。当所有数据拷贝完毕后，Reduce Task统一对内存和磁盘上的所有数据进行一次合并。

每个阶段的默认排序

1）排序的分类：

（1）部分排序： MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部排序。

（2）全排序：如何用Hadoop产生一个全局排序的文件？最简单的方法是使用一个分区。但该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce所提供的并行架构。

替代方案：首先创建一系列排好序的文件；其次，串联这些文件；最后，生成一个全局排序的文件。主要思路是使用一个分区来描述输出的全局排序。例如：可以为上述文件创建3个分区，在第一分区中，记录的单词首字母a-g，第二分区记录单词首字母h-n, 第三分区记录单词首字母o-z。

（3）辅助排序：（GroupingComparator分组）

Mapreduce框架在记录到达reducer之前按键对记录排序，但键所对应的值并没有被排序。甚至在不同的执行轮次中，这些值的排序也不固定，因为它们来自不同的map任务且这些map任务在不同轮次中完成时间各不相同。一般来说，大多数MapReduce程序会避免让reduce函数依赖于值的排序。但是，有时也需要通过特定的方法对键进行排序和分组等以实现对值的排序。

2）自定义排序WritableComparable

（1）原理分析 bean对象实现WritableComparable接口重写compareTo方法，就可以实现排序

3.4 Combiner合并

图中Combiner合并处：

1）combiner是MR程序中Mapper和Reducer之外的一种组件

2）combiner组件的父类就是Reducer

3）combiner和reducer的区别在于运行的位置： Combiner是在每一个maptask所在的节点运行 Reducer是接收全局所有Mapper的输出结果； 4）combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量

5）自定义Combiner实现步骤：

（1）自定义一个combiner继承Reducer，重写reduce方法

（2）在job中设置

6）combiner能够应用的前提是不能影响最终的业务逻辑，而且，combiner的输出kv应该跟reducer的输入kv类型要对应起来

Mapper

3 5 7 ->(3+5+7)/3=5

2 6 ->(2+6)/2=4

Reducer

(3+5+7+2+6)/5=23/5 不等于 (5+4)/2=9/2

MapReduceフレームワークと原則が解決します

、MapReduceのコンセプト