hadoop streaming怎么设置key

Posted 2020-10-01 fisherinbox

充分利用hadoop的map输出自动排序功能，能够有效提高计算效率。
Hadoop streaming框架默认情况下会以‘/t’作为分隔符，将每行第一个‘/t’之前的部分作为key，其余内容作为value，如果没有‘/t’分隔符，则整行作为key；这个key/tvalue对又作为该map对应的reduce的输入。
实际上，通过设置参数，可以根据需要将约定满足要求的数据分布到同一个reducer，又可以通过设置map执行参数将数据内容进行一定的排序，从而提高在reducer中的计算效率。

hadoop 中可以提供配置供用户自主设置的分隔符：
-D stream.map.output.field.separator ：设置map输出中key和value的分隔符
-D stream.num.map.output.key.fields ： 设置map程序分隔符的位置，该位置之前的部分作为key，之后的部分作为value
-D map.output.key.field.separator : 设置map输出中key内部的分割符——备注：基于该分隔符，shuffle对key数值进行排序
-D num.key.fields.for.partition : 指定分桶时，key按照分隔符切割后，其中用于分桶key所占的列数（配合-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner 使用）
-D stream.reduce.output.field.separator：设置reduce输出中key和value的分隔符
-D stream.num.reduce.output.key.fields：设置reduce程序分隔符的位置

比如下面的输入数据例子，想要基于前两个数值进行hash分桶，将数据分布到同一个reducer，另一方面又想将前四个数字进行排序。需要这样设置：
-D stream.map.output.field.separator=,
-D stream.num.map.output.key.fields=4
-D map.output.key.field.separator=,
-D num.key.fields.for.partition=2

1 1,2,1,1,1  
2 1,2,2,1,1  
3 1,3,1,1,1  
4 1,3,2,1,1  
5 1,3,3,1,1  
6 1,2,3,1,1  
7 1,3,1,1,1  
8 1,3,2,1,1  
9 1,3,3,1,1