Pivotal HDB - 如何将数据从 HAWQ 内部/外部可读表推送到 Greenplum
Posted
技术标签:
【中文标题】Pivotal HDB - 如何将数据从 HAWQ 内部/外部可读表推送到 Greenplum【英文标题】：Pivotal HDB - How to push data from HAWQ Internal /external readable table TO Greenplum 【发布时间】：2016-09-18 13:57:45 【问题描述】：我们有小型 hadoop 和 Greenplum 集群。目前的数据管道流程是：
External table >> hadoop-hawq external readbale table >>hawq internal table.
输出： 1.我们正在尝试使用GREENPLUM扩展数据管道。基本上想将HAWQ内部表或外部可读表数据直接推入greenplum。 原因是因为我们想编辑我们的文件。另外，HAWQ 不支持更新和删除。是否有任何替代方法来处理或推送数据。请指导。
2.如何通过gphdfs协议通过GPDB外表访问HDFS数据
提前致谢！
【问题讨论】：
【参考方案1】：如果您想将HAWQ内表中的数据推送到Greenplum数据库，您可以：
1) 使用可写外部表将 HAWQ 内部表中的数据卸载到 HDFS 上的文件。下面是一个卸载示例：http://gpdb.docs.pivotal.io/4380/admin_guide/load/topics/g-unloading-data-using-a-writable-external-table.html
2) 然后使用可读的外部表将HDFS文件中的数据加载到Greenplum数据库中，协议如gphdfs、gpfdist等，具体可以参考http://gpdb.docs.pivotal.io/4320/admin_guide/load.html。
如果要将HAWQ中可读外部表中的数据推送到Greenplum数据库中，可以像HAWQ中一样直接使用Greenplum数据库中可读外部表。
对于 gphdfs，以下是一些有用的示例： http://gpdb.docs.pivotal.io/4380/admin_guide/load/topics/g-example-1-greenplum-file-server-gpfdist.html
【讨论】：
以上是关于Pivotal HDB - 如何将数据从 HAWQ 内部/外部可读表推送到 Greenplum的主要内容，如果未能解决你的问题，请参考以下文章