火花历史未在 ambari 集群上启动

Posted 2023-04-18

【中文标题】火花历史未在 ambari 集群上启动

【英文标题】：spark history not start on ambari cluster

【发布时间】：2017-11-01 04:25:57

【问题描述】：

我们以如下方式开始火花历史

/usr/hdp/2.6.0.3-8/spark2/sbin/start-history-server.sh

来自日志

spark-root-org.apache.spark.deploy.history.HistoryServer-1-master01

我们得到

WARN AbstractLifeCycle: FAILED ServerConnector@14a54ef6HTTP/1.1
0.0.0.0:18081: java.net.BindException: Address already in use
java.net.BindException: Address already in use

请告知什么是解决方案以启动火花历史

【参考方案1】：

您需要在端口已经打开的情况下终止进程（如僵尸历史服务器），或者将 Ambari 中的端口更改为其他端口

netstat -an、ps -ef 和 lsof 的组合将帮助您找到持有端口的进程