hadoop的hdfs的某个目录里面有两个文件然后想进行文件中key对应的value相乘操作

Posted 2023-02-24

1.txt里面写着 a 2
2.txt里面写着 a 0.5
第一个是值
第二个是系数
现在想把这两个文件里面的key的value对应着相乘然后输出
求大大给个思路一个mapreduce能完成吗？

参考wordcount程序，然后修改：
在map阶段将key和value分别拿到（和wordcount不同，你这里只需要对每行按照空格或者\\t分隔分别取到key和value即可，不用想wordcount对value赋值为1），
在reduce阶段对同一个key的value序列进行相乘（wordcount是对同一个key的序列value进行相加的）。 参考技术A mapreduce 不是特别的熟悉，但是使用hive 很简单， 建2个外部表，数据引用你的那2个文件，然后直接写sql能出来。hive通过sql自动生成mapreduce的。