其实map与reduce之间存在一个shuffle,他会对map输出的key value进行分区,排序,合并与归并操作,合并操作需要自己主动去定义才会执行,而归并操作是自动的,他能将map输出的key-value归并为key-valueList(以iterable为容器),以此达到归并value的效果。
mapreduce只能处理key——value数据,输入与输出都是key——value
其实map与reduce之间存在一个shuffle,他会对map输出的key value进行分区,排序,合并与归并操作,合并操作需要自己主动去定义才会执行,而归并操作是自动的,他能将map输出的key-value归并为key-valueList(以iterable为容器),以此达到归并value的效果。
mapreduce只能处理key——value数据,输入与输出都是key——value