sqoop如何在增量导入中导入固定数量的行？

Posted 2023-04-18

【中文标题】sqoop如何在增量导入中导入固定数量的行？

【英文标题】：How to import a fixed number of rows in incremental import in sqoop?

【发布时间】：2018-11-13 02:41:25

【问题描述】：

我正在自学 sqoop，并尝试使用下面提到的代码在本地测试增量导入功能

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 1000' \
-m 1 \
--incremental append \
--check-column emp_no \
--target-dir sqoop/import_data/employee_db_import_incremental

上面的脚本导入了前 1000 条记录，现在我想将接下来的 1000 条记录附加到现有数据中。怎么办？

【参考方案1】：

您必须指定最后一个值，您需要从哪个记录追加，假设您的最后一条记录是1000，那么您的命令必须如下所示：

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 2000' 
\
-m 1 \
--incremental append \
--check-column emp_no \
--last-value 1000
--target-dir sqoop/import_data/employee_db_import_incremental