ambari 2.2.1.1版本安装Spark 2.0报错

Posted 2023-02-16

【中文标题】ambari 2.2.1.1版本安装Spark 2.0报错

【英文标题】：Spark 2.0 installation error in ambari version 2.2.1.1

【发布时间】：2016-07-11 20:45:35

【问题描述】：

我正在尝试使用来自

的资源定义通过 ambari（版本 2.2.1.1）安装 spark 2.0

https://github.com/jerryshao/spark2-ambari-definition

安装 spark 2 thrift 服务器时出现以下错误。你能帮忙吗？

 Traceback (most recent call last):
File "/var/lib/ambari-agent/cache/common-  services/SPARK2/2.0.0/package/scripts/spark_thrift_server.py", line 26, in <module>
 from resource_management.libraries.functions import stack_select
ImportError: cannot import name stack_select

【问题讨论】：

既然Spark 2.0正式发布了，请问大家什么时候可以看到Ambari正式支持spark 2.0？

【参考方案1】：

您链接到的服务定义是针对使用 Ambari 2.4.x 而不是 2.2.x 的 HDP 2.5。部分原因在于他们使用stack_select 而不是hdp_select。该函数在 Ambari 2.4.x 中被重命名并破坏了向后兼容性，因为它在以前的版本中被命名为 hdp_select。

HDP 2.5 附带 Spark 2.0.0 的技术预览版，因此不需要您链接的服务定义。 HDP 2.5 堆栈中已经提供了一个。

IBM 开放平台 (IOP) 4.3（将于 2017 年发布）将为 Spark 2.1.0 提供支持。您现在可以开始使用 IOP 4.3 堆栈的technical preview。