sqoop 中的最后一个值（增量导入）

Posted 2023-04-18

【中文标题】sqoop 中的最后一个值（增量导入）

【英文标题】：last-value in sqoop( incremental import)

【发布时间】：2018-04-02 05:18:55

【问题描述】：

sqoop import --connect \\
jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --check-column rank --incremental append --last-value 

我们不知道上一张表的最后一个值。如何编写查询？

【问题讨论】：

您需要创建一个 sqoop 作业，以便 sqoop 元存储记住最后一个值..

或者你也可以创建一个表来保存最后一个值

【参考方案1】：

您可以尝试两种方法来解决这个问题。

查询表并获取最后值列的最大值。 在 sqoop 中创建作业并将列设置为增量列，然后继续前进，您的作业将以增量方式运行

【参考方案2】：

转到您的密码 cd

.sqoop

使用 vi 或打开文件

metastore.db.script

你最喜欢的编辑器。 搜索

incremental.last.value

应该是这样的

INSERT INTO SQOOP_SESSIONS VALUES('incimpjob','incremental.last.value','2018-09-11 19:20:52.0','SqoopOptions')

注意：我假设您已经创建了一个 Sqoop 作业。 'incimpjob' 是我的 sqoop 作业的名称。