EMR 卡在引导脚本

Posted

技术标签:

【中文标题】EMR 卡在引导脚本【英文标题】:EMR stuck at bootstrap script 【发布时间】:2021-09-06 10:53:34 【问题描述】:

我正在尝试在 EMR 上运行引导文件以安装 facebook prophet,这似乎有一个问题需要安装 dev-toolsthe bootstrap.sh 只需运行

bootstrap.sh

#!/bin/bash -xe
sudo yum install python3-devel python3-libs python3-tools
#sudo yum groupinstall "Development Tools"
aws s3 cp s3://bucket/requirements.txt .
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install --upgrade -r ./requirements.txt

,输出日志显示如下

错误日志显示

但随后集群在失败前卡住了 1 小时

【问题讨论】:

【参考方案1】:

我必须将 -y 标志添加到 yum 以便 pypass 任何用户提示

【讨论】:

以上是关于EMR 卡在引导脚本的主要内容,如果未能解决你的问题,请参考以下文章

AWS EMR v5.32.0 引导 Numpy 问题

如何在 Amazon EMR 上引导安装 Python 模块?

在 Amazon EMR 中运行的 Pig 作业的引导文件的路径是啥

即使在引导程序中安装 pip 后,导入也无法在 Amazon EMR 中工作

在 EMR 集群上引导 Spark 3.0.0

Amazon EMR + mrjob:引导错误,“引导操作 1 返回非零返回码”