如何在 EMR zeppelin 上安装 boto3

Posted

技术标签:

【中文标题】如何在 EMR zeppelin 上安装 boto3【英文标题】:How do I install boto3 on EMR zeppelin 【发布时间】:2020-06-22 19:07:16 【问题描述】:

我正在 AWS EMR 上使用 zeppelin notebook 编写一些 pyspark 代码。 当我尝试导入boto3时,这里是错误

Fail to execute line 1: import boto3
Traceback (most recent call last):
  File "/tmp/zeppelin_pyspark-1491115636333819951.py", line 380, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 1, in <module>
ImportError: No module named boto3

如何在这种环境下安装 boto3?或者无论如何我可以使用 AWS+Zeppelin+boto3?

谢谢!

【问题讨论】:

【参考方案1】:

我想通了。需要安装在主节点(通过ssh连接)

【讨论】:

以上是关于如何在 EMR zeppelin 上安装 boto3的主要内容,如果未能解决你的问题,请参考以下文章

如何设置 Zeppelin 以使用远程 EMR Yarn 集群

您如何使用 boto3(或其他方式)在 emr 上自动化 pyspark 作业?

如何:Zeppelin + boto3 + AWS 凭证

如何更改 EMR EC2 集群上的 Apache Zeppelin 配置以显示氦包?

是否可以通过 IAM 角色限制从 EMR (zeppelin) 访问 S3 数据?

如何使用纯 python/boto 访问 EMR master 私有 ip 地址