Hadoop Oozie MapReduce 操作自定义分区器

Posted 2023-04-18

技术标签:

【中文标题】Hadoop Oozie MapReduce 操作自定义分区器【英文标题】：Hadoop Oozie MapReduce Action Custom Partitioner 【发布时间】：2017-08-02 14:17:46 【问题描述】：

如何在 oozie 工作流 XML 上为 MapReduce 操作配置自定义分区器？我尝试使用：

<property>
    <name>mapreduce.job.partitioner.class</name>
    <value>com.package.MyPartitioner</value>
</property>
<property>
    <name>mapreduce.partitioner.class</name>
    <value>com.package.MyPartitioner</value>
</property>

【问题讨论】：

【参考方案1】：

下面是mapreduce新api指定partitioner类的配置。

<property>
   <name>mapreduce.partitioner.class</name>
   <value>test.hadoop.apps.log.LogPartitioner</value>
</property>

【讨论】：

以上是关于Hadoop Oozie MapReduce 操作自定义分区器的主要内容，如果未能解决你的问题，请参考以下文章

必知Hadoop工作流引擎调度器--Azkaban与Oozie的区别。

大数据平台搭建 - cdh5.11.1 - oozie安装