多节点火花集群上的 spark-shell 无法在远程工作节点上旋转执行程序

Posted 2023-04-18

【中文标题】多节点火花集群上的 spark-shell 无法在远程工作节点上旋转执行程序

【英文标题】：spark-shell on multinode spark cluster fails to spon executor on remote worker node

【发布时间】：2017-08-01 10:50:25

【问题描述】：

在独立模式下安装了 spark 集群，第一个节点上有 2 个节点，有 spark master 运行，另一个节点 spark worker。当我尝试使用字数统计代码在工作节点上运行 spark shell 时，它运行良好，但是当我尝试在主节点上运行 spark shell 时，它给出以下输出：

WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

执行器未触发运行作业。即使有工人可以火花大师它给出这样的问题。任何帮助都是appriciated，谢谢

【问题讨论】：

运行以下命令：./bin/spark-shell --master spark://mastrIP:7077 不指定部署模式

spark/conf 下的 slaves 文件中有哪些条目？

【参考方案1】：

您使用客户端部署模式，因此最好的选择是执行程序节点无法连接到本地计算机上的驱动程序端口。这可能是防火墙问题或广告 IP / 主机名的问题。请确保：

spark.driver.bindAddress spark.driver.host spark.driver.port

使用预期值。请参考Spark documentation的网络部分。

不太可能是缺乏资源。请检查您请求的资源是否超过了工作人员提供的资源。

【讨论】：

感谢它的工作，从 ec2 实例入站规则打开端口。