EMR 卡在引导脚本
Posted
技术标签:
【中文标题】EMR 卡在引导脚本【英文标题】:EMR stuck at bootstrap script 【发布时间】:2021-09-06 10:53:34 【问题描述】:我正在尝试在 EMR 上运行引导文件以安装 facebook prophet
,这似乎有一个问题需要安装 dev-tools
,the bootstrap.sh
只需运行
bootstrap.sh
#!/bin/bash -xe
sudo yum install python3-devel python3-libs python3-tools
#sudo yum groupinstall "Development Tools"
aws s3 cp s3://bucket/requirements.txt .
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install --upgrade -r ./requirements.txt
,输出日志显示如下
错误日志显示
但随后集群在失败前卡住了 1 小时
【问题讨论】:
【参考方案1】:我必须将 -y
标志添加到 yum
以便 pypass 任何用户提示
【讨论】:
以上是关于EMR 卡在引导脚本的主要内容,如果未能解决你的问题,请参考以下文章
如何在 Amazon EMR 上引导安装 Python 模块?
在 Amazon EMR 中运行的 Pig 作业的引导文件的路径是啥