MapReduce算法形式二:去重(shuffle)
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce算法形式二:去重(shuffle)相关的知识,希望对你有一定的参考价值。
案例二:去重(shuffle/HashSet等方法)
shuffle主要针对的是key去重
HashSet主要针对values去重
以上是关于MapReduce算法形式二:去重(shuffle)的主要内容,如果未能解决你的问题,请参考以下文章
打怪升级之小白的大数据之旅(五十)<MapReduce框架原理二:shuffle>