emr 中的 mrjob 仅运行 3 个 MRStep 中的 1 个 MRStep，并且集群正在关闭

Posted 2023-04-18

【中文标题】emr 中的 mrjob 仅运行 3 个 MRStep 中的 1 个 MRStep，并且集群正在关闭

【英文标题】：mrjob in emr is running only 1 MRStep out of 3 MRSteps and cluster is shutting down

【发布时间】：2021-01-06 12:01:44

【问题描述】：

错误看起来像这样：- 终止集群：j-SDOP2KOKWYZM

botocore.exceptions.ClientError：调用 AddJobFlowSteps 操作时发生错误 (ValidationException)：可能无法修改正在关闭、终止或完成的作业流。

【参考方案1】：

跟随错误。很明显，集群在步骤 1 之后终止。 这个问题是因为 botocore 包已被弃用。

解决方案可能是：

启动持久集群 使用该集群 ID 在 emr 中运行 mr 作业

命令：

mrjob create-cluster

确保您已在mrjob.config 文件中配置集群信息。上面的命令可以让你创建一个持久集群。

python3 MovieSimilarities.py -r emr --cluster-id "your-cluster-id"
    --items=ml-100k/u.item ml-100k/u.data > sims2t.txt

现在指定集群 ID 来运行您的集群。