HUE提交MapReduce作业示例

Posted asin929

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HUE提交MapReduce作业示例相关的知识,希望对你有一定的参考价值。


说明

因为HUE也是通过Oozie的REST提交作业,故看过Oozie提交作业总结后,在HUE中提交作业变得相当简单。


操作步骤

步骤1–新建MapReduce的action

步骤2–填写配置 

图中所有的”Hadoop job properties”如下,

mapreduce.input.fileinputformat.inputdir  $inputDir
mapreduce.output.fileoutputformat.outputdir  $outputDir
mapreduce.job.map.class wordcount.WordCount$TokenizerMapper
mapreduce.job.reduce.class wordcount.WordCount$IntSumReducer
mapreduce.job.combine.class wordcount.WordCount$IntSumReducer
mapreduce.job.output.key.class org.apache.hadoop.io.Text
mapreduce.job.output.value.class org.apache.hadoop.io.IntWritable
mapred.mapper.new-api true
mapred.reducer.new-api true
mapreduce.job.reduces 1

步骤3–提交作业

提交作业后,填写上述设置的输入输出路径参数便可以成功运行,见如下,

以上是关于HUE提交MapReduce作业示例的主要内容,如果未能解决你的问题,请参考以下文章

简单的字数 MapReduce 示例产生奇怪的结果

作业提交过程之HDFS&MapReduce

作业提交过程之HDFS&MapReduce

通过SDK提交MapReduce作业

oozie 作业提交失败,检查您的配置是不是有 mapreduce.framework.name 和相应的服务器地址

使用“添加文件”部分(shell 脚本)时,Hortonworks Hue Oozie 流式传输作业失败