了解 Spark 与 Hadoop

Posted 2023-04-15

【中文标题】了解 Spark 与 Hadoop

【英文标题】：Understanding Spark alongside Hadoop

【发布时间】：2014-11-11 15:05:21

【问题描述】：

在我的设置中，Hadoop 和 Spark 都在同一个网络上运行，但在不同的节点上。我们可以将 Spark 与您现有的 Hadoop 集群一起运行，只需将其作为单独的服务启动即可。它会显示性能上的任何改进吗？

我有数千个大约 10 GB 的文件加载到 HDFS 中。

我有 8 个节点用于 Hadoop，1 个主节点和 5 个工作节点用于 Spark

【参考方案1】：

只要worker在同一个节点上，我们就有了Locality的优势。您也可以与 hadoop 一起启动您的服务。