sqoop 作业将数据导出到 mysql，卡在地图 100% 且状态正在运行

Posted 2023-03-22

【中文标题】sqoop 作业将数据导出到 mysql，卡在地图 100% 且状态正在运行

【英文标题】：sqoop job export data into mysql,stuck at map 100% with status running

【发布时间】：2017-03-21 11:50:29

【问题描述】：

所以我尝试使用 sqoop 将数据从 impala 导出到 mysql，这是由 oozie 作业安排的。但是当第一个 sqoop 操作开始时，它卡在 map 100% 并减少 0%。所有其他操作都塞满了。

奇怪的是，在我杀死这个oozie作业之前，mysql中没有数据，但是在我杀死它之后，数据出现在mysql表中（只有与第一个卡住的sqoop动作有关的表）。

这是我的导出脚本： enter image description here 我的 oozie 工作行为如下所示： the first running is the one stuck

并且不存在错误日志。

【问题讨论】：

对不起图片，这是我第一次在这里提问，似乎无法再次编辑。

【参考方案1】：

请检查资源管理器的日志，您会在那里发现可能的错误。 您可以从资源管理器 Web UI 中查看日志。 可能的错误可能是数据类型、数据类型字段宽度、格式（如果是日期或时间戳值）。

【讨论】：

是的，我阅读了资源管理器日志，没有发现任何错误。但我确实发现有这样的日志：appattempt_1490240402690_0020_000001 状态从已提交更改为已调度。这意味着 map-reduce 作业卡在 SCHEDULED 状态。我想知道我的物理机是否太差了。一台4核16G RAM的集群，是否足以运行hadoop、yarn、hive、impala、sqoop？或者也许我必须调整一些配置。