为啥 Spark2 只在一个节点上运行？

Posted 2023-03-23

【中文标题】为啥 Spark2 只在一个节点上运行？

【英文标题】：Why is Spark2 running on only one node?为什么 Spark2 只在一个节点上运行？

【发布时间】：2018-05-08 13:20:12

【问题描述】：

我正在从 Zeppelin（HDP 2.6 中的 0.7）运行 Spark2，并且我正在执行一个 idf 转换，该转换在数小时后崩溃。它在具有主节点和 3 个数据节点的集群上运行：s1、s2 和 s3。所有节点都有一个 Spark2 客户端，每个都有 8 个内核和 16GB RAM。

我刚刚注意到它只在一个节点 s3 上运行，有 5 个执行器。

在 zeppelin-env.sh 中，我将 zeppelin.executor.instances 设置为 32 并将 zeppelin.executor.mem 设置为 12g，并且它具有以下行：

export MASTER=yarn-client

我已将yarn.resourcemanager.scheduler.class 设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

我还在 Spark2 解释器中将 spark.executor.instances 设置为 32。

任何人有什么想法我可以尝试让其他节点共享吗？

【参考方案1】：

答案是因为我是个白痴。只有 S3 安装了 datanode 和 nodemanager。希望这可能对某人有所帮助。