Spark History Server无法启动

Posted 2021-05-07

我在3节点集群上安装了CDH 5.4.7。在Spark上运行第一个作业后，我检查了应用程序历史记录页面。它写成如下

Event log directory: hdfs://****:8020/user/spark/applicationHistory

No completed applications found!

Did you specify the correct logging directory? Please verify your setting of 
spark.history.fs.logDirectory and whether you have the permissions to access 
it. It is also possible that your application did not run to completion or 
did not stop the SparkContext.

我检查了HDFS，发现/user/spark/applicationHistory已经存在了。但是该目录中没有条目。这意味着没有写入日志。我搜索了cloudera文档页面，并在以下链接中找到了文章Managing the Spark History Server

Managing Spark History Server

如上所述，我添加了一个Spark History Server并启动它。为我的用户执行以下两个命令

$ sudo -u hdfs hadoop fs -chown -R spark:spark /user/spark
$ sudo -u hdfs hadoop fs -chmod 1777 /user/spark/applicationHistory

但是，当我尝试执行以下命令时，它会给出no such file or directory错误

$ cp /etc/spark/conf/spark-defaults.conf.template /etc/spark/conf/spark-defaults.conf

所以，我去了路径/etc/spark并列出了里面的文件。它显示了这样的事情

conf -> /etc/alternatives/spark-conf

我既不能创建名为conf的目录，因为它已经存在，我也无法将目录更改为/etc/spark/conf

此外，service spark-history-server start命令给出unrecognized service错误。

请帮忙！提前致谢

答案

我在Cloudera Quickstart VM 5.12.0映像上遇到了同样的问题，并且能够通过以下步骤解决问题：

• 停止历史记录服务器：

$ sudo service spark-history-server stop

• 在HDFS中设置/ user / spark / applicationHistory /目录的所有权和权限，如下所示：

$ sudo -u hdfs hadoop fs -chown -R spark：spark / user / spark

$ sudo -u hdfs hadoop fs -chmod 777 / user / spark / applicationHistory

• 将以下行添加到/etc/spark/conf/spark-defaults.conf文件以记录事件：

spark.eventLog.enabled =真

spark.eventLog.dir = HDFS：//quickstart.cloudera：8020 /用户/火花/ applicationHistory

• 将以下行添加到/etc/spark/conf/spark-defaults.conf文件以将YARN ResourceManager直接链接到Spark History Server：

spark.yarn.historyServer.address = http://quickstart.cloudera:18088

• 启动历史记录服务器：

$ sudo service spark-history-server start

希望它对其他人有用。