HUE提交MapReduce作业示例
Posted asin929
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HUE提交MapReduce作业示例相关的知识,希望对你有一定的参考价值。
说明
因为HUE也是通过Oozie的REST提交作业,故看过Oozie提交作业总结后,在HUE中提交作业变得相当简单。
操作步骤
步骤1–新建MapReduce的action
步骤2–填写配置
图中所有的”Hadoop job properties”如下,
mapreduce.input.fileinputformat.inputdir $inputDir
mapreduce.output.fileoutputformat.outputdir $outputDir
mapreduce.job.map.class wordcount.WordCount$TokenizerMapper
mapreduce.job.reduce.class wordcount.WordCount$IntSumReducer
mapreduce.job.combine.class wordcount.WordCount$IntSumReducer
mapreduce.job.output.key.class org.apache.hadoop.io.Text
mapreduce.job.output.value.class org.apache.hadoop.io.IntWritable
mapred.mapper.new-api true
mapred.reducer.new-api true
mapreduce.job.reduces 1
步骤3–提交作业
提交作业后,填写上述设置的输入输出路径参数便可以成功运行,见如下,
以上是关于HUE提交MapReduce作业示例的主要内容,如果未能解决你的问题,请参考以下文章