COMP9313 week4a MapReduce

https://www.cse.unsw.edu.au/~cs9313/20T2/slides/L4.pdf

https://drive.google.com/drive/folders/13_vsxSIEU9TDg1TCjYEwOidh0x3dU6es

MapReduce

总结：

　　1. MapReduce in Hadoop

　　2. Shuffle in Hadoop

　　3. Shuffle in Spark

　　　　1)Hash Shuffle

扫描二维码关注公众号，回复： 11340888 查看本文章

　　　　2)Sofy Shuffle

　　4. MapReduce Functions in Spark

　　　　1) combineByKey

　　　　2) reduceByKey

　　　　3) groupByKey

　　5.The Efficiency of MapReduce in Spark

　　　　1)Number of transformations

　　　　2)•Size of transformations

　　　　3)Shuffles