MapReduce没有输出 & Rducer中将数据放入集合总会放入同一个引用问题

Posted 一个拿着底层薪资操着架构师的心的码农

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce没有输出 & Rducer中将数据放入集合总会放入同一个引用问题相关的知识,希望对你有一定的参考价值。

MapReduce没有输出,得到一个空的文件夹

1. Map输出类型和Reducer的输入类型对不上

2. myMapper和myReducer类不是static的,这样在主方法中使用myReducer.class就有问题

将数据放入集合总会放入同一个引用问题

在reduce()方法中直接将key和value加入到一个集合,这样其实反复加入的是同一个key和value的引用,如果想要每次加入一个新的键值对对象,必须在put()前,新建一个key, 和value对象

 

小白学云计算,本来就不会,还总是遇到别人遇不到的问题QAQ, 心里那个苦啊QAQ

以上是关于MapReduce没有输出 & Rducer中将数据放入集合总会放入同一个引用问题的主要内容,如果未能解决你的问题,请参考以下文章

YARN框架&MapReduce框架

有没有办法将 MapReduce 作业的输出导入 SQL 表?

2.11 MapReduce原理

Java Mapreduce - 获取匹配文件的名称并打印到输出文件

MapReduce&YARN

MapReduce程序之combiner规约