（Zeppelin + Livy）SparkUI.appUIAddress（），一定是错的

Posted 2021-03-27

我正试图在这个文档之后用Zeppelin配置livy：https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是，当我跑：

%livy.spark
sc.version

我收到以下错误：

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用Zeppelin 0.7.3，Spark 2.2.1和Livy 0.4.0。 Spark在YARN上运行（hadoop 2.9.0）。这是vanilla安装，我不使用像cloudera / HDP这样的发行版。所有这些软件都在一台服务器上运行

我可以使用--master yarn在spark-shell中运行示例org.apache.spark.examples.SparkPi，没有任何问题。所以我确认YARN上的火花运行良好。

任何帮助，将不胜感激。

谢谢，yusata。

答案

这个问题是由spark 2.2中的方法折旧引起的.pit 2.2中不再存在appUiAddress。

正如你在这个PR https://github.com/apache/zeppelin/pull/2231中看到的那样。这个问题已经解决了。

不知怎的，你仍然遇到了这个问题。我认为降级Spark或使用更新版本的Zeppelin可以解决问题。