需要 spark-assembly-1.5.2.-hadoop2.7.jar 用于 HDP 2.3.2 上的 Spark -Oozie 工作流

Posted 2023-02-16

【中文标题】需要 spark-assembly-1.5.2.-hadoop2.7.jar 用于 HDP 2.3.2 上的 Spark -Oozie 工作流

【英文标题】：Needed spark-assembly-1.5.2.-hadoop2.7.jar for Spark -Oozie workflow on HDP 2.3.2

【发布时间】：2016-08-04 14:43:35

【问题描述】：

我正在尝试在 oozie 4.2.0 (HDP 2.3.x) 上安排 spark 1.5.2 作业。 Spark 1.5.2 已在外部安装，我没有使用 hortonworks 提供的默认 spark 版本。我指的是下面的帖子来设置它。

https://community.hortonworks.com/questions/7014/oozie-sparkaction-throwing-javalangnosuchmethoderr.html

我正在努力寻找下面的罐子。

-spark-assembly-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

-spark-examples-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

如果您可以帮助我找到/下载以上 jar 的一些指示，这将是一个很大的帮助。

【参考方案1】：

你检查过 spark lib 路径

/usr/hdp/current/spark-client/lib

你可以找到

[ram@IP lib]$ ls
datanucleus-api-jdo-3.2.6.jar  datanucleus-rdbms-3.2.9.jar               spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar  spark-hdp-assembly.jar
datanucleus-core-3.2.10.jar    spark-1.6.1.2.4.2.0-258-yarn-shuffle.jar  spark-examples-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar
[ram@IP lib]$

然后将所需的库复制到您的工作流库中

eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib

【讨论】：

Ram 如前所述，我们没有使用 HDP 附带的 Spark。原因是 HDP 附带的 Spark 版本是 1.4.x，我们需要 spark 1.5.2，因此我们在外部安装了 spark 1.5.2，并在 Yarn 和 HDFS 上使用了 spark 1.5.2。但是很难在 ooze 上安排 spark 工作。要让 spark 1.5.2 与 oozie 一起工作，我需要 park-assembly-1.5.2.-hadoop2.7.jar。如果您正在使用带有 oozie 的 Spark 1.5.2，请分享一下程序集 jar。

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.5.2-bin-hadoop2.6.tgz tar -xvf spark-1.5.2-bin-hadoop2.6.tgz cd spark-1.5.2-bin-hadoop2.6/lib [ram@IP lib]$ ls datanucleus-api-jdo-3.2.6.jar datanucleus-core-3.2.10.jar datanucleus-rdbms-3.2.9.jar spark-1.5.2-yarn-shuffle.jar spark-assembly-1.5.2-hadoop2.6.0.jar spark-examples-1.5.2-hadoop2.6.0.jar [ram@IP lib]$ 然后将需要的库复制到您的工作流库eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib 然后更改job.properties oozie.use.system.libpath=false

Ram 我有 1.5.2 Hadoop 2.6 的程序集 jar 我需要 Spark 1.5.2 和 hadoop 2.7