B05 - 053、MapReduce优化 - 容错相关参数

0、MapReduce优化 - 容错相关参数

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、MapReduce优化 - 容错相关参数
  1.1  mapreduce.map.maxattempts
  1.2  mapreduce.reduce.maxattempts
  1.3  mapreduce.map.failures.maxpercent
  1.4  mapreduce.reduce.failures.maxpercent
  1.5  mapreduce.task.timeout

---

记忆词：

  容错相关参数

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、MapReduce优化 - 容错相关参数

  1.1 ~ mapreduce.map.maxattempts

• 每个 Map Task 最大重试次数，一旦重试参数超过该值，则认为 Map Task 运行失败，默认值：4。

  1.2 ~ mapreduce.reduce.maxattempts

• 每个 Reduce Task最大重试次数，一旦重试参数超过该值，则认为 Map Task 运行失败，默认值：4。

  1.3 ~ mapreduce.map.failures.maxpercent

• 当失败的 Map Task 失败比例超过该值，整个作业则失败，默认值为 0。
• 如果你的应用程序允许丢弃部分输入数据，则该该值设为一个大于 0 的值。
• 比如 5，表示如果有低于 5%的 Map Task 失败（如果一个 Map Task 重试次数超过mapreduce.map.maxattempts，则认为这个 Map Task 失败，其对应的输入数据将不会产生任何结果），整个作业扔认为成功。

  1.4 ~ mapreduce.reduce.failures.maxpercent

• 当失败的 Reduce Task 失败比例超过该值为，整个作业则失败，默认值为 0。

  1.5 ~ mapreduce.task.timeout

• 如果一个 task 在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该 task 处于 block 状态，可能是临时卡住，也许永远会卡住。

• 为了防止因为用户程序永远 block 不退出，则强制设置了一个超时时间（单位毫秒），默认是600000，值为 0 将禁用超时。

接天莲叶无穷碧，映日荷花别样红。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，MapReduce优化 - 容错相关参数完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

在SELECT语句中，HAVING子句必须跟在________子句后面。

…
Group by

接天莲叶无穷碧，映日荷花别样红。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

接天莲叶无穷碧，映日荷花别样红。

扫描二维码关注公众号，回复： 6542825 查看本文章