有没有人使用 Amazon 的 Elastic Map Reduce 的 ruby​​ 客户端创建具有多个输入的作业？

Posted 2023-04-17

【中文标题】有没有人使用 Amazon 的 Elastic Map Reduce 的 ruby​​ 客户端创建具有多个输入的作业？

【英文标题】：Has anybody created a job with multiple inputs using the the ruby client for Amazon's Elastic Map Reduce?

【发布时间】：2011-09-02 01:22:41

【问题描述】：

通过 UI，Amazon 的框架允许我通过指定多个 --input 行来创建具有多个输入的作业。例如：

-input s3n://something -input s3n://something-else

同样，到目前为止，Ruby EMR 客户端对我很有帮助： http://aws.amazon.com/developertools/2264

但是，我正在尝试编写需要多个输入的夜间作业，但我似乎找不到任何方法来执行此操作。它不会让我传递多个 -input 参数，当我使用 --arg 或 --args 时，创建的作业不包含 -input 行。它几乎就像是在剥离它一样。

有人成功地使用过这个工具吗？

【参考方案1】：

原来你确实使用了 --args 但它必须遵循 --stream 或 --bootstrap-action 选项。它不能附加到命令行的末尾：

http://www.henrycipolla.com/blog/2011/09/how-to-create-an-emr-job-with-multiple-inputs-using-the-ruby-client/

--亨利