hadoop +streaming 排序总结

Posted 2020-09-23

参考http://blog.csdn.net/baidu_zhongce/article/details/49210787

hadoop用于对key的排序和分桶的设置选项比较多，在公司中主要以KeyFieldBasePartitioner和KeyFieldBaseComparator被hadoop用户广泛使用。

基本概念：

partition：分桶过程，用户输出的key经过partition分发到不同的reduce里，因而partitioner就是分桶器，一般使用平台默认的hash分桶，也可以用户自己指定。

key：是需要排序的字段，相同分桶&&相同key的行，排序到一起。

例子：用来搭配不同的参数跑出真实作业的结果来演示这些参数的使用方法。

假设map的输出是这样以点好分隔的若干行：

d.1.5.23
e.9.4.5
e.5.9.22
e.5.1.45
e.5.1.23
a.7.2.6
f.8.3.3

 

stream.num.map.output.key.fields #设置map输出的前几个字段作为key

stream.map.output.field.separator #设置map输出过程中，字段分隔符号

#

KeyFieldBasePartitioner的用法

如果想要灵活设置key中用于partion的字段，而不是把整个key都用来做partition。就需要使用hadoop中的

org.apache.hadoop.mapred.lib.KeyFieldBasedPartioner了。