B05 - 050、MapTask并行度机制

0、MapTask并行度机制

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、MapTask并行度机制
  1.1  MapTask并行度机制概述。
  1.2  FileInputFormat 切片机制。

---

记忆词：

  MapTask并行度机制

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、MapTask并行度机制

  1.1 ~ MapTask并行度机制概述。

• MapTask 的并行度指的是 map 阶段有多少个并行的 task 共同处理任务。
• map阶段的任务处理并行度，势必影响到整个 job 的处理速度。
• 那么，MapTask 并行实例是否越多越好呢？其并行度又是如何决定呢？
• 一个 MapReducejob 的 map 阶段并行度由客户端在提交 job 时决定，即客户端提交 job 之前会对待处理数据进行逻辑切片。
• 切片完成会形成切片规划文件（job.split），每个逻辑切片最终对应启动一个 maptask。
• 逻辑切片机制由 FileInputFormat 实现类的 getSplits()方法完成。

  1.2 ~ FileInputFormat 切片机制。

    1.2.1 .  FileInputFormat 中默认的切片机制。

A. 简单地按照文件的内容长度进行切片。
B. 切片大小，默认等于 block 大小。
C. 切片时不考虑数据集整体，而是逐个针对每一个文件单独切片。

    1.2.2 .  比如待处理数据有两个文件。

file1.txt 320M
file2.txt 10M

    1.2.3 .  经过 FileInputFormat 的切片机制运算后，形成的切片信息。

file1.txt.split1—0M~128M
file1.txt.split2—128M~256M
file1.txt.split3—256M~320M
file2.txt.split1—0M~10M

    1.2.4 .  FileInputFormat 中切片的大小的参数配置。

• 在 FileInputFormat 中，计算切片大小的逻辑：
  Math.max(minSize, Math.min(maxSize, blockSize));

• 切片主要由这几个值来运算决定：
  minsize：默认值：1
  配置参数： mapreduce.input.fileinputformat.split.minsize
  maxsize：默认值：Long.MAXValue
  配置参数：mapreduce.input.fileinputformat.split.maxsize
  blocksize

• 因此，默认情况下，split size=block size,在 hadoop 2.x 中为 128M。

• maxsize（切片最大值）：参数如果调得比 blocksize 小，则会让切片变小，而且就等于配置的这个参数的。

• minsize （切片最小值）：参数调的比 blockSize 大，则可以让切片变得比blocksize 还大。

• 但是，不论怎么调参数，都不能让多个小文件“划入”一个 split。

• 还有个细节就是：
  当 bytesRemaining/splitSize > 1.1 不满足的话，那么最后所有剩余的会作为一个切片。从而不会形成例如 129M 文件规划成两个切片的局面。

沉舟侧畔千帆过，病树前头万木春。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，MapTask并行度机制完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

视图是一种虚表，它是从________导出的表。

…
基本表

沉舟侧畔千帆过，病树前头万木春。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

沉舟侧畔千帆过，病树前头万木春。