Partioner的理解

Posted 2020-09-18

1. partioner在Hadoop中是干什么的？

   其实这个都是为shuffle服务的，怎么说，其实就是根据一些策略，将这个分区里面的那些数据分配给哪个reducer,举个例子，有很多关键字key1,text1,key2,text2,有两个reducer1,reducer2,为什么会将key1，走的是reduce1，key2，走的是reduce2，为什么会这样，这就看它分区的策略了。

2. partioner可以自定义策略，来进行分区的？

   现在有很多方法，有hashPartioner，还有其他parttioner,但是你必须有那么多的reducer，所以你必须要进行设置reducer的个数，如果太多，它只会按照应该partioner中认为的个数进行计算，如果太少，它就只能用那么几个。

本文出自 “简答生活” 博客，请务必保留此出处http://1464490021.blog.51cto.com/4467028/1927017