oozie 作业失败并出现错误 JA009:错误的 conf 文件

Posted

技术标签:

【中文标题】oozie 作业失败并出现错误 JA009:错误的 conf 文件【英文标题】:oozie job failing with error JA009: bad conf file 【发布时间】:2016-03-07 08:07:39 【问题描述】:

我是 oozie 的新手,正在努力使用以下 oozie 作业运行一个简单的 hiveql。使用以下 workflow.xml 和 job.properties。

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.2" name="init">
  <start to="step1"/>
  <action name="step1">
        <hive xmlns="uri:oozie:hive-action:0.2">
            <job-tracker>abc</job-tracker>
            <name-node>def:8020</name-node>
            <job-xml>workflow.xml</job-xml>
            <configuration>
                <property>
                  <name>mapred.child.java.opts</name>
                  <value>-Xmx1500m</value>
                </property>
                <property>
                  <name>io.sort.mb</name>
                  <value>500</value>
                </property>
                <property>
                  <name>dfs.block.size</name>
                  <value>536870912</value>
                </property>
            </configuration>
            <script>oozie_hive_test.hql</script>
            <param>jarpath=/data/lib/oozie</param>
        </hive>
        <ok to="end"/>
        <error to="end"/>
  </action>
  <end name="end"/>
</workflow-app>

job.properties

emailTo=abc@def.com
oozie.libpath=/data/bdegrp/lib/oozie
oozie.wf.application.path=/user/an31416/oozie/oozie_test
oozieLauncherJavaOpts=-Xmx1500m

运行使用的命令

oozie job -oozie http://xyz:11000/oozie -config ./oozie_test/job.properties -run

但它因以下错误而失败。

ID                                                                            Status    Ext ID                 Ext Status Err Code  
------------------------------------------------------------------------------------------------------------------------------------
0000021-160219180700519-oozie-oozi-W@:start:                                  OK        -                      OK         -         
------------------------------------------------------------------------------------------------------------------------------------
0000021-160219180700519-oozie-oozi-W@step1                                    START_RETRY-                      -          JA009     

ID : 0000021-160219180700519-oozie-oozi-W@step1
------------------------------------------------------------------------------------------------------------------------------------
Console URL       : -
Error Code        : JA009
Error Message     : JA009: bad conf file: top-level element not <configuration>
External ID       : -
External Status   : -
Name              : step1
Retries           : 0
Tracker URI       : -
Type              : hive
Started           : -
Status            : START_MANUAL
Ended             : -

你能帮我找出这个问题的可能原因吗?

【问题讨论】:

【参考方案1】:

Oozie 期望标签&lt;job-xml&gt; 中的hive-site.xml 文件,只需将该文件的副本放在HDFS 中并使用它的路径如下:

 <job-xml>/path/from/root/hive-site.xml</job-xml>

【讨论】:

以上是关于oozie 作业失败并出现错误 JA009:错误的 conf 文件的主要内容,如果未能解决你的问题,请参考以下文章

Sqoop - 使用 Oozie 导入 Hive 失败

运行 oozie 作业会出现 IO 错误 E0803

Oozie Spark 动作失败

Oozie shell 操作失败

数据流作业在 BigQuery 写入失败并出现后端错误

错误:GoogleJsonResponseException:对 bigquery.jobs.get 的 API 调用失败并出现错误:未找到:作业 YXZ