1204工作

hadoop reducer回滚原因分析

 

这个就要看你出现回滚是在哪个级别的reducer了。当map执行成功之后,hadoop会启动reducer
对应到整个job,会有reduce阶段,这个如果失败了肯定不可能成功的吧。

然后如果你设置了跑10个reduce,那么hadoop会把map的输出结果划分为10份,对应由10个reduce task来处理。一般来说肯定也是要10个task都成功才会判断mr成功了的。

但是10个 reduce task不一定真的只跑10个物理任务,如果slot有多,那么每个task可能有多个attempt在运行。如果只是attempt失败那么就完全没有影响了,因为每个task都只需要有一个执行成功的attempt就够了

 

原文地址:http://www.zhihu.com/question/21262860/answer/18460445

 

 

 

 

出现闪动或者报错Eclipse打不开。The Eclipse executable launcher was unable to locate its companion shared library

可能是Eclipse 版本不对或jdk没配

猜你喜欢

转载自719607746.iteye.com/blog/2163523