在 sqoop 导入语句中使用 Append 和 last modified

Posted 2023-04-18

【中文标题】在 sqoop 导入语句中使用 Append 和 last modified

【英文标题】：Using Append and last modified in sqoop import statement

【发布时间】：2017-09-23 07:31:04

【问题描述】：

我们使用sqoop 将Oracle 数据库中的数据提取到HDFS。人们过去经常向 SQL 表更新和添加新行。我知道 sqoop 增量导入 --append 和 --last modified 选项。

我的问题是我们是否可以在同一个导入语句中使用这两个选项？

例如，

sqoop --incremental import --lastmodified --append --check-column 'lastmodified' --check-column 'id' --lastvalue '2017-09-22-123456' --lastvalue 100

或者我们需要单独使用？还是有其他更好的方法？

【参考方案1】：

我自己找到了答案。

lastmodified 可以根据最后修改的列处理更新和新添加的行。在这种情况下不需要使用Append。