使用 MapReduce 或 Sqoop 将数据加载到 Greenplum DB

Posted

技术标签:

【中文标题】使用 MapReduce 或 Sqoop 将数据加载到 Greenplum DB【英文标题】:Load data into Greenplum DB using MapReduce or Sqoop 【发布时间】:2015-04-28 02:36:28 【问题描述】:

我想尝试使用 mapreduce 或 sqoop 将数据加载到 Greenplum。目前,从 hdfs 加载 greenplum db 的方法是,使用 gphdfs 创建一个外部表,然后加载内部表。我想尝试使用 sqoop 或 mapreduce 直接将数据加载到 greenplum 中的解决方案。我需要一些关于如何继续进行的输入。你能帮帮我吗?

【问题讨论】:

【参考方案1】:

关于 Sqoop,Sqoop 导出 将有助于实现这一目标。

http://www.tutorialspoint.com/sqoop/sqoop_export.htm

【讨论】:

这只是将 sqoop 导出到常规 RDBMS 数据库。我需要知道,是否有人尝试将数据推送到 GreenPlum。【参考方案2】:

虽然不是 sqoop,但我目前正处于使用 Greenplum 的外部表从 hdfs 加载的实验阶段。到目前为止,它似乎正在执行。

【讨论】:

以上是关于使用 MapReduce 或 Sqoop 将数据加载到 Greenplum DB的主要内容,如果未能解决你的问题,请参考以下文章

sqoop数据迁移

Flume和 Sqoop

Flume和 Sqoop

sqoop数据迁移

Apache Sqoop - Overview Apache Sqoop 概述

HBase与MapReduce集成