Pig Script 上的多个 AWS 账户

Posted 2023-04-18

【中文标题】Pig Script 上的多个 AWS 账户

【英文标题】：Multiple AWS Accounts on Pig Script

【发布时间】：2015-02-20 11:54:07

【问题描述】：

我想从 EMR 的 PIG 脚本访问我拥有 aws_access_key 和 aws_secret_key 的一个帐户的 s3 存储桶，并且我想将结果文件存储在另一个 aws 帐户上。 有什么办法可以做到这一点吗？我已经尝试了带有凭据的 s3n 路径，但它不起作用。

谢谢

【参考方案1】：

我通过更改 PigStorage 函数解决了这个问题，将结果存储在 hdfs 中，并在 cleanUpWithSucess 方法上调用了一个方法，该方法使用凭据将 hdfs 文件上传到 s3。这样我就可以在PigStorageFunction用来存储的时候把凭证传给它，当然我也改了PigStorage的构造函数来接收这些参数。