十二道MR习题 - 2 - 多文件保存
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了十二道MR习题 - 2 - 多文件保存相关的知识，希望对你有一定的参考价值。
题目：
需要将MR的执行结果保存到3个文件中，该怎么做。
又是一个送分题。
对于Hadoop的MapReduce来说只需要设置一下reduce任务的数量即可。MR的Job默认reduce数量是1，需要调用job的setNumReduceTasks()方法来调整reduce任务的数量。
对于spark来说，可以调用coalesce方法或repartition方法来调整分区的数量，这样也可以调整最终结果输出文件的数量。关于coalesce方法和分区的关系这里不展开了，随便搜搜就能找到了。
#######
以上是关于十二道MR习题 - 2 - 多文件保存的主要内容，如果未能解决你的问题，请参考以下文章