在 Cloudera Hue 中为 Oozie（调用 PIG 脚本）配置正确的端口

Posted 2023-04-18

【中文标题】在 Cloudera Hue 中为 Oozie（调用 PIG 脚本）配置正确的端口

【英文标题】：Configuring correct port for Oozie (invoking PIG script) in Cloudera Hue

【发布时间】：2013-11-12 22:48:17

【问题描述】：

我是 CDH4 Oozie 工作流编辑器的新手。 在尝试从 Oozie 工作流编辑器调用猪脚本时，我收到以下错误。

HadoopAccessorException: E0900: Jobtracker [mymachine:8032] not allowed, not in Oozies whitelist

看起来 Oozie 正在将作业提交到 Yarn 端口 (8032)。我希望它提交到 8021（MR jobtracker）端口。 有人可以帮我确定在哪里设置工作跟踪器 URL 或端口，以便 oozie 选择正确的（使用 Hue 或 Cloudera 管理器）。

之前我尝试了以下方法，但都没有帮助

修改的 workflow.xml 文件 /user/hue/oozie/workspaces/../workflow.xml 文件。但是，当我从工作流编辑器提交作业时，它会被覆盖。

在cloudera Manager --> oozie --> configuration --> Oozie Server (advanced) --> Oozie Server Configuration Safety Valve for oozie-site.xml property 我设置了以下-

<property>
    <name>oozie.service.HadoopAccessorService.nameNode.whitelist</name>
<value>mymachine:8020</value>

oozie.service.HadoopAccessorService.jobTracker.whitelist 我的机器：8021

并重新启动 oozie 服务。 3. 在配置pig 任务时试图覆盖'jobTracker' 属性。这在工作流文件中显示如下，但它没有生效（或没有覆盖）并且仍然使用 8032 端口。

<global>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>mymachine:8021</value>
                </property>
            </configuration>
 </global>

我使用的是CDH4版本。

感谢您调查我的问题。

【参考方案1】：

如果它使用 8032，这意味着已为 Yarn/MR2 配置了 Hue。您在 /about 页面上有任何警告吗？你确定你没有使用 MR2 而不是 MR1？

More info

在我的设置中，我将其留空：

<property>
    <name>oozie.service.HadoopAccessorService.jobTracker.whitelist</name>
    <value> </value>
    <description>
        Whitelisted job tracker for Oozie service.
    </description>
</property>

【讨论】：

感谢 Romain，我没有看到任何相关警告。此外，我确实去了 CM oozie -> 配置 -> 服务范围属性并确认已选中 MR1 单选按钮。

【参考方案2】：

我的新 cloudera 集群和我在 vmware 中运行的本地 hadoop 盒子也遇到了同样的问题。 我做了什么 - 我查看了 Cloudera Manager 以找到 mapreduce1 服务的主机名，并将其放入我的 workflow.properties 中的 jobTracker 属性中

<action name="report">
  <java>
    <job-tracker>$jobTracker</job-tracker>
    ...
  </java>
</action>

如果是我在 vmware 中的本地 hadoop 框，正确的值是 localhost.localdomain

【讨论】：

感谢 Oleksii，我在 Hue 中使用工作流编辑器时遇到了这个问题。我无法在那里设置 jobTracker 属性。我尝试在 job.xml 中添加此属性（mapred.job.tracker），但 Oozie 不允许。