greenplum 中的 gpload 实用程序

Posted

技术标签:

【中文标题】greenplum 中的 gpload 实用程序【英文标题】:gpload utility in greenplum 【发布时间】:2013-05-21 13:45:50 【问题描述】:

谁能帮助我使用 greenplum 中的 gpload 实用程序?我是第一次这样做,我已经按照帮助命令创建了控制文件,但是遇到了一些 gpfdist 连接错误。是否有关于 gpload 实用程序的参考资料或一些我可以参考的示例?

我在使用 gpload 时遇到以下错误:

2013-05-21 09:34:20|INFO|started gpfdist -p 9096 -P 9097 -f "gpload.test.txt" -t 30
"2013-05-21 09:34:23|ERROR|ERROR:  connection with gpfdist failed for gpfdist://<host-ip>:9096/gpload.test.txt. effective url: http://<host-ip>:9096/gpload.test.txt.  (seg43 slice1 sdw8:40001 pid=19336)"

我尝试进行一些更改,但问题仍然存在。 提前致谢, 晴天

【问题讨论】:

【参考方案1】:

关键是要认识到 gpload 做了以下事情:

    在您正在运行 gpload 的侦听端口上启动 gpfdist。 创建一个外部表,其位置指定为 gpfdist://:/filename 执行以下或类似的 sql 插入到 select * from ;

这会导致段连接到运行 gpload 的服务器。这要求段可以联系到 gpload 配置文件中指定的本地主机。

尝试从其中一个段 ping 正在运行 gpload 的服务器。

如果您需要更多帮助,请发送 .yml 文件的副本。

您可以发送电子邮件至:LWalstad@goPivotal.com

【讨论】:

谢谢 Leonard,我明白了,我在控制文件的某些地方给出了一些错误的东西。现在很好,正在工作....非常感谢您的帮助。但我还有 1 个问题?是否有类似 gpload 用于卸载数据(从表到服务器上的目标文件)的东西,我知道 COPY 和 Writable External table 选项(两者都对我有用)但仍然想知道是否还有其他东西就像 gpload? ? @Leonard,有没有办法指定正在创建的外部表的位置?

以上是关于greenplum 中的 gpload 实用程序的主要内容,如果未能解决你的问题,请参考以下文章

GreenPlum数据的装载与卸载之gpload的使用

greenplum gpload:配置 YML 文件错误

gpfdist vs gpload greenplum

Pivotal greenplum - talend 的 gpload 问题

GreenPlum 使用gpload通过gpfdist文件实现数据高速加载

如何使用 gpload 实用程序?