通过 oozie 从 sqoop 作业增量导入不会更新 sqoop 元存储中的 incremental.last.value

Posted 2023-02-16

【中文标题】通过 oozie 从 sqoop 作业增量导入不会更新 sqoop 元存储中的 incremental.last.value

【英文标题】：incremental import from sqoop job through oozie doesn't update incremental.last.value in sqoop's metastore

【发布时间】：2017-04-28 12:55:23

【问题描述】：

尝试通过创建 sqoop 作业从 mysql 到 hive 进行增量导入，它在命令行中工作正常，但是当我尝试使用 oozie 时，它​​不会更新 sqoop 元存储中的 incremental.last.value

【问题讨论】：

分享一些你正在运行的代码/脚本

【参考方案1】：

RTFM：官方 Sqoop 文档是 here，您应该仔细阅读第 12 节 “已保存的作业”、13 “sqoop-job”、14 “sqoop-metastore”.

我还写了几个关于该主题的 SO 答案，对你来说可能比原始文档更容易理解：

what kind of Sqoop "metastore" you need with Oozie how to manage the "shared metastore" in a proper Linux service，而不是 Sqoop 提供的创可贴 how to pass "shared metastore" parameters to your Oozie action