MapReduce Streaming

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MapReduce Streaming相关的知识,希望对你有一定的参考价值。

一、Hadoop Streaming:

Hadoop Streaming是Hadoop发行包的一个功能。Hadoop Streaming的作用是,可以使用任何可运行程序或脚本作为Mapper和/或Reducer来创建和执行MapReduce作业。例如:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar -input myInputDirs -output myOutputDir -mapper /bin/cat -reducer /bin/wc


本文出自 “雪花” 博客,谢绝转载!

以上是关于MapReduce Streaming的主要内容,如果未能解决你的问题,请参考以下文章

什么是MapReduce?MapReduce整体架构搭建使用介绍

[hadoop]怎么把两个mapreduce工程合起来

MapReduce 知识

MapReduce(6)特性

mapreduce 数据去重 问题

MapReduce mapreduce基础入门