1.默认情况
在Hadoop streaming的默认情况下,是以”\t”作为分隔符的。对于标准输入来说,每行的第一个”\t” 以前的部分为key,其他部分为对应的value。如果一个”\t”字符没有,则整行都被当做key。这个
2.map阶段的sort与partition
map阶段很重要的阶段包括sort与partition。排序是按照key来进行的。咱们之前讲了默认的key是由”\t”分隔得到的。我们能不能自己控制相关的sort与partition呢?答案是可以的。
先看以下几个参数:
map.output.key.field.separator: map中key内部的分隔符
num.key.fields.for.partition: 分桶时,key按前面指定的分隔符分隔之后,用于分桶的key占的列数。通俗地讲,就是partition时候按照key中的前几列进行划分,相同的key会被打到同一个reduce里。
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 前两个参数,要配合partitioner选项使用!
stream.map.output.field.separator: map中的key与value分隔符
stream.num.map.output.key.fields: map中分隔符的位置,该选项可以指定按照前几列来进行排序,通常配合num.key.fields.for.partition使用,用 来对排好序后按照num.key.fields.for.partition指定的分桶值来分桶。
stream.reduce.output.field.separator: reduce中key与value的分隔符
stream.num.reduce.output.key.fields: reduce中分隔符的位置