如何在没有 Amazon GUI 的情况下在 Elastic MapReduce 上自动运行 Pig Batch 作业？

Posted 2023-04-17

【中文标题】如何在没有 Amazon GUI 的情况下在 Elastic MapReduce 上自动运行 Pig Batch 作业？

【英文标题】：How Can I Automate Running Pig Batch Jobs on Elastic MapReduce without Amazon GUI?

【发布时间】：2012-10-20 01:05:38

【问题描述】：

我在 .pig 文件中有一些猪批处理作业，我希望每隔一小时左右在 EMR 上自动运行一次。我找到了一个教程here，但这需要为我设置的每项工作使用亚马逊的 GUI，我真的宁愿避免。有没有使用 Whirr 的好方法？还是 Ruby Elastic-mapreduce 客户端？我的所有文件都在 s3 中，还有几个带有我需要使用的功能的猪罐子。

【问题讨论】：

这个问题可能有XY problem，因为它侧重于建议的解决方案。

【参考方案1】：

虽然我不知道如何使用您提到的工具运行 pig 脚本，但我知道两种可能的方法：

在本地运行文件：可以使用 cron 在集群上运行文件：可以使用OOZIE

话虽如此，大多数带有 GUI 的工具也可以通过命令行进行控制。 （虽然如果您有 GUI 可用，设置可能会更容易）。