-- 不支持配置单元导入的增量 lastmodified 选项

Posted 2023-02-16

【中文标题】-- 不支持配置单元导入的增量 lastmodified 选项

【英文标题】：--incremental lastmodified option for hive imports is not supported

【发布时间】：2020-01-17 18:11:45

【问题描述】：

使用 Sqoop 1.4.7.3.0.1.0-187

    sqoop job -D sqoop.metastore.client.record.password=true -D sqoop.metastore.client.enable.autoconnect=true \
  --meta-connect jdbc:hsqldb:hsql://$server:$port/sqoop \
  --create $sqoopJobName \
  -- import --null-string "null" --null-non-string "null" --mysql-delimiters --hive-drop-import-delims \
  --query "select * from $sqlTableName where \$CONDITIONS" \
  --incremental lastmodified \
  --last-value '2020-01-16 15:25:16'\
  --check-column UpdateDate \
  -m 4 --split-by $columnId \
  --target-dir hdfs://HDP//input/sqoopimport_action_workflow/$targetDirectoryName/ \
  --hive-import --hive-table $tableNameForHive \
  --connect $connectionString \
  --connection-manager org.apache.sqoop.manager.SQLServerManager --driver net.sourceforge.jtds.jdbc.Driver  \
  --username $user --password-file $pathToPasswordFile

我收到以下消息，但未创建独家任务

--不支持 hive 导入的增量 lastmodified 选项。请去掉参数--incremental lastmodified。

【参考方案1】：

正确，详见SQOOP-2986

【讨论】：

也许多一点解释会有所帮助

【参考方案2】：

由于某种原因，该标志在平台上被禁用