EC2 作业流失败

Posted 2023-04-17

【中文标题】EC2 作业流失败

【英文标题】：EC2 Job Flow Failure

【发布时间】：2011-10-18 16:50:24

【问题描述】：

我有一个要在 s3 上运行的 jar 文件 MapReduce。它需要两个参数，一个输入目录和一个输出文件。

所以我使用 elastic-mapreduce ruby​​ 命令行工具尝试了以下命令：

elastic-mapreduce -j j-JOBFLOW --jar s3n://this.bucket.com/jars/this.jar --arg s3n://this.bucket.com/data/ --arg s3n://this.bucket.com/output/this.csv

这失败了，错误

线程“主”java.lang.ClassNotFoundException 中的异常：s3n://this/bucket/com/data/

所以我在各自的 args 之后使用 --input 和 --output 进行了尝试。这也失败了，因为找不到 --input 类的错误（似乎它无法破译 --input 而不是它无法破译输入后的参数）

这似乎是一个基本的事情，但我无法让它发挥作用。任何帮助深表感谢。谢谢。

【参考方案1】：

试试：

elastic-mapreduce --create --jar s3n://this.bucket.com/jars/this.jar --args "s3n://this.bucket.com/data/,s3n://this.bucket.com/output/this.csv"

仔细检查你的jar，输入数据在那里：

s3cmd ls s3://this.bucket.com/data/