Oozie-sqoop 工作流在 cloudera 中因心跳问题而挂起

Posted 2023-04-18

【中文标题】Oozie-sqoop 工作流在 cloudera 中因心跳问题而挂起

【英文标题】：Oozie-sqoop workflow hanging with Heart beat issue in cloudera

【发布时间】：2017-01-16 20:14:23

【问题描述】：

我正在尝试使用 Hue (Cloudera VM) 中的 oozie 运行一个简单的 sqoop 导入。提交后几秒钟，这项工作永远被心跳问题所困扰，我进行了一些搜索并找到了这个线程 https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-launcher-never-ends/td-p/13330，我添加了以下所有 yarn-site.xml 文件中提到的 XML 属性，不知道是哪个特定文件，但没有用，我仍然面临同样的问题，有人可以对此提供一些见解吗？

/etc/hive/conf.cloudera.hive/yarn-site.xml
/etc/hadoop/conf.empty/yarn-site.xml
/etc/hadoop/conf.pseudo/yarn-site.xml
/etc/spark/conf.cloudera.spark_on_yarn/yarn-conf/yarn-site.xml
/etc/hive/conf.cloudera.hive/yarn-site.xml

工作日志

'12480 [main] INFO  org.apache.sqoop.mapreduce.ImportJobBase  - Beginning import of order_items
13225 [main] WARN  org.apache.sqoop.mapreduce.JobBase  - SQOOP_HOME is unset. May not be able to find all job dependencies.
16314 [main] INFO  org.apache.sqoop.mapreduce.db.DBInputFormat  - Using read commited transaction isolation
18408 [main] INFO  org.apache.hadoop.mapreduce.Job  - The url to track the job: http://quickstart.cloudera:8088/proxy/application_1484596399739_0002/
18409 [main] INFO  org.apache.hadoop.mapreduce.Job  - Running job: job_1484596399739_0002
25552 [main] INFO  org.apache.hadoop.mapreduce.Job  - Job job_1484596399739_0002 running in uber mode : false
25553 [main] INFO  org.apache.hadoop.mapreduce.Job  -  map 0% reduce 0%
Heart beat
Heart beat

工作流 XML

<workflow-app name="Oozie_Test1" xmlns="uri:oozie:workflow:0.5">
    <start to="sqoop-e57e"/>
    <kill name="Kill">
        <message>Action failed, error message[$wf:errorMessage(wf:lastErrorNode())]</message>
    </kill>
    <action name="sqoop-e57e">
        <sqoop xmlns="uri:oozie:sqoop-action:0.2">
            <job-tracker>$jobTracker</job-tracker>
            <name-node>$nameNode</name-node>
            <command>import --m 1 --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username=retail_dba --password=cloudera --table order_items --hive-database sqoopimports --create-hive-table --hive-import --hive-table sqoop_hive_order_items</command>
            <file>/user/oozie/share/lib/mysql-connector-java-5.1.34-bin.jar#mysql-connector-java-5.1.34-bin.jar</file>
        </sqoop>
        <ok to="End"/>
        <error to="Kill"/>
    </action>
    <end name="End"/>
</workflow-app>

谢谢 MX

【参考方案1】：

这个帖子帮我解决了这个问题

https://community.cloudera.com/t5/Batch-Processing-and-Workflow/Oozie-sqoop-action-in-CDH-5-2-Heart-beat-issue/td-p/22181/page/2

在解决了这个错误后，我陷入了“启动水槽失败”的问题，这个帖子帮助我解决了这个问题

oozie Sqoop action fails to import data to hive