MapReduce系列之自定义Partitioner

partitioner定义：分区器

partitioner的作用是将mapper（如果使用了combiner的话就是combiner）输出的key/value拆分为分片（shard），每个reducer对应一个分片。默认情况下，partitioner先计算key的散列值（通常为md5值）。然后通过reducer个数执行取模运算：key.hashCode%(reducer个数)。这种方式不仅能够随机地将整个key空间平均分发给每个reducer,同时也能确保不同mapper产生的相同key能被分发到同一个reducer。

目的：如果对数据的整体有很好的了解，可以使用自定义Partitioner来达到reducer的负载均衡，提高效率。

适用范围：需要非常注意的是：必须提前知道有多少个分区。比如自定义Partitioner会返回5个不同int值，而reducer number设置了小于5，那就会报错。所以我们可以通过运行分析任务来确定分区数。例如，有一堆包含时间戳的数据，但是不知道它能追朔到的时间范围，此时可以运行一个作业来计算出时间范围。

注意：在自定义partitioner时一定要注意防止数据倾斜。

一个案例：https://github.com/taowenjun/MapReduce/blob/master/cn/tao/secondarysort/DateTemperaturePartitioner.java

在驱动中指定该定义类：

job.setPartitionerClass(DateTemperaturePartitioner.class);