将结果从 Pig 直接存储到 Redshift?

Posted

技术标签:

【中文标题】将结果从 Pig 直接存储到 Redshift?【英文标题】:Store the results from Pig directly to Redshift? 【发布时间】:2016-06-06 23:04:21 【问题描述】:

有没有办法将 Pig 中的结果直接存储到 Redshift 上的表中?

【问题讨论】:

【参考方案1】:

是的,但您可能不会喜欢它 - 它效率不高。

    下载jdbc驱动(http://docs.aws.amazon.com/redshift/latest/mgmt/configure-jdbc-connection.html)

    使用 PiggyBank DBStorage,mysql 示例here。

更好的方法是准备 csv 然后导入它。

【讨论】:

以上是关于将结果从 Pig 直接存储到 Redshift?的主要内容,如果未能解决你的问题,请参考以下文章

定期将查询结果从 Redshift 移动到 S3 存储桶

将猪结果存储到本地文件

将查询从 MySQL 导出到 Redshift

从日期中减去天数,然后将结果舍入到 Redshift 中的周末日期

将数据从我的 spark 代码发送到 redshift

递归地将数据从 redshift 卸载到 S3 存储桶