在 HDP 2.6 上运行的 Zeppelin 0.7.0 上的 Spark2.2 解释器

Posted 2023-03-23

【中文标题】在 HDP 2.6 上运行的 Zeppelin 0.7.0 上的 Spark2.2 解释器

【英文标题】：Spark2.2 interpreter on Zeppelin 0.7.0 running on HDP 2.6

【发布时间】：2018-03-22 04:02:23

【问题描述】：

只是尝试测试 Zeppelin 解释器以在 Zeppelin 0.7.0(HDP2.6) 上的 YARN 上运行 Spark 2.2，但反复得到：

java.lang.ClassNotFoundException: com.sun.jersey.api.client.config.ClientConfig

我正在运行的只是

%spark2 
sc.version

使用相同的 Spark 2.2，我可以在 YARN（本地和远程）上运行 spark-submit 和 spark-shell 操作，但不能让 Zeppelin 收听这个新版本的 Spark。 Zeppelin-HDP 是否仅支持 Spark 2.1 和 1.6？ （我的 Spark 2.2 是自定义安装）。

唯一让我相信上述内容的是，我可以在测试 Zeppelin notebook 的日志中看到： Added JAR file:/usr/hdp/current/zeppelin-server/interpreter/spark/zeppelin-spark_2.10-0.7.0.2.6.0.3-8.jar

这似乎是一个特定于 HDP 的 zeppelin JAR。

请帮忙。

【参考方案1】：

是的，你是对的。我在 mesos 上运行 zeppelin 0.7.0 和 spark 2.2.0 时遇到了类似的问题。事实上看看这个提交：

https://github.com/apache/zeppelin/commit/28310c2b95785d8b9e63bc0adc5a26df8b3c9dec

0.7.3 中似乎添加了支持，所以尝试升级 zeppelin 并尝试一下。我从master 分支构建了zeppelin，它对我有用，但标签v0.7.3 也应该可以正常工作。