Sqoop 导入映射器失败,但 sqoop 作业显示正在运行

Posted

技术标签:

【中文标题】Sqoop 导入映射器失败,但 sqoop 作业显示正在运行【英文标题】:Sqoop import mappers failed but sqoop job is showing running 【发布时间】:2019-03-25 20:07:42 【问题描述】:

我编写了一个 Sqoop 导入程序,使用 where 子句从 Netezza 导入数据,当 where 子句出现语法错误时,Sqoop 生成的映射器会抛出 Netezza 级别的语法错误并挂起。 如何捕捉这些场景并让我的 Sqoop 导入作业失败。

【问题讨论】:

【参考方案1】:

已在 sqoop 导入命令中添加了驱动程序选项 --driver org.netezza.Driver,如果生成的查询中有任何语法错误,它会导致 sqoop 导入失败。 由于我们指定了驱动,所以 sqoop 导入使用的是 jdbc 而不是带有直接选项的外部表。

【讨论】:

以上是关于Sqoop 导入映射器失败,但 sqoop 作业显示正在运行的主要内容,如果未能解决你的问题,请参考以下文章

运行 Sqoop 导入和导出时如何找到最佳映射器数量?

默认地图减少工作?有多少映射器和减速器

如何为 sqoop 作业设置 vcore

HBase sqoop 导入冻结

无法在 Sqoop 导出中自定义的映射器数量

Sqoop - 使用 Oozie 导入 Hive 失败