HBase sqoop 导入冻结

Posted 2023-04-18

【中文标题】HBase sqoop 导入冻结

【英文标题】：HBase sqoop import freezes

【发布时间】：2014-02-18 20:25:57

【问题描述】：

在 cloudera 集群上： 我尝试在 HBase 中成功导入 100k 行 mysql 表作为测试。 现在我正在尝试导入一个 264M 行的 postgre 表。起初我让映射器的默认数量（没有“-m”选项）但是，在 35 或 100 行之后，sqoop 作业的控制台给了我这个错误：“org.apache.hadoop.client.RetriesExhaustedWithDetails:Failed XXX actions: servers with问题：XXXXXXXXXXXXX”在完美运行的机器上，我的所有服务在 Cloudera 上都是绿色的。 为了避免这种情况，我尝试设置一个映射器（“-m 1”）。没有更多的错误，但是在 100-110 行之后，sqoop 停止添加新行，并且 cloudera 的日志中没有任何内容......我试图让导入连续运行 3 天。 一些信息：我让 sqoop 选择了行 ID。原始表是 3 列键控（使用 varchars）。 我想我有一些错误配置，但我不知道是哪一个......

【参考方案1】：

好的，我想通了。 Hbase 基于表的 3 个主键之一采用默认的单键。结果是：它使用相同的第一个主键重新写入前一行。它不会冻结。我现在已经指定了他必须使用哪些列来存储在 HBase 中。