Cloudera Spark2 安装

Posted 2023-04-18

【中文标题】Cloudera Spark2 安装

【英文标题】：Cloudera Spark2 Installation

【发布时间】：2017-10-31 14:31:29

【问题描述】：

我正在尝试按照 cloudera 安装此组件的说明在我的 cloudera 集群（评估版）中安装 Spark2。我下载了 CSD，安装了它并使用包下载了组件，分发了它，但是当我尝试激活它时，我收到了以下消息：

SPARK2 需要 CDH（5.8 及更高版本）包裹 (2.2.0.cloudera1-1.cdh5.12.0.p0.142354) 不可用。

这是集群的信息：

版本：Cloudera Enterprise Data Hub Edition 试用版 5.12.1（#6 内置 詹金斯在 20170818-0807 git 上： 9bdee611802535491d400e03c98ef694a2c77d0a)

Java 虚拟机名称：Java HotSpot(TM) 64 位服务器虚拟机

Java VM 供应商：甲骨文公司

Java 版本：1.7.0_67

惩教署

SPARK2_ON_YARN-2.2.0.cloudera1.jar

包裹

http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

我想这可能是因为我的 CDH 版本 (5.12.1) 和最后一个 spark2 包裹的版本 (cdh5.12.0) 但我没有找到 cdh5.12.1 的任何其他包，我的下一个问题是: 对于cdh5.13.0 哪个是spark2 包？

【参考方案1】：

错误信息具有误导性。真正的问题是您的集群在 Java 1.7 上运行。 Spark 2.2 仅在 Java 1.8 上受支持。在您的集群上升级 Java，您应该能够安装 Spark 2.2 包。

【讨论】：

嗨，你说得对，cloudera默认安装jdk 1.7，但我将所有主机的jvm版本更改为jdk 1.8，所以所有应用程序都在jdk 1.8上运行，只有cloudera manager运行jdk 1.7（上次我尝试更改 de 版本时，集群崩溃了，这就是为什么我只更改主机版本而不是 cloudera 管理器的原因）......我不确定它在安装时默认采用的 java 版本，我想它采用主机中定义的 java 版本（在我的情况下为 1.8）

【参考方案2】：

终于解决了。问题是我需要更新 de cdh 核心，更新后 spark 2 工作正常。

【讨论】：

我也遇到了同样的问题，能否提供解决方法？

您要做的第一件事是检查“parcels”模块以识别 CHD 5.X 的任何可用更新，如果您的集群有更新，则必须按照以下步骤安装它: 下载、分发、激活。随着您的 CDH 版本更新，您可以从包中下载、分发和激活 spark2。这就是我所做的一切。

谢谢@gleX，安装CDH更新后我解决了。

谢谢，这也是我的问题。