mapreduce卡67%

reduce过程的百分比与对应的处理如下: 
- 0~33%是shuffle的过程,数据从mapper已到了reducer 
- 33~67%是sort的过程,这个过程只会在mapper完成后才会执行 
- 67~100%才是reducer程序执行的过程。如果reduce卡在了67%,那么说明reducer一个也没有执行。可能是输入数据太大,超过了限制,也可能是reducer有死循环的bug

猜你喜欢

转载自blog.csdn.net/onway_goahead/article/details/84985763
67