spark如何优化设置

Posted 2023-05-09

如题，如何对spark集群进行优化，让它执行的时候尽可能地快

spark优化可以通过参数优化和代码优化 参考技术A 不懂，到微博找技术大牛问问，spark还没普及，大家都是新手，自学。

如何在 Windows 机器上设置 Spark 集群？

【中文标题】如何在 Windows 机器上设置 Spark 集群？

【英文标题】：How to set up Spark cluster on Windows machines?

【发布时间】：2013-07-02 04:21:11

【问题描述】：

我正在尝试在 Windows 机器上设置 Spark 集群。 这里的方法是使用独立模式，对吗？ 不使用 Mesos 或 YARN 的具体缺点是什么？使用其中任何一种会有多痛苦？有人在这里有经验吗？

【参考方案1】：

仅供参考，我在用户组中得到了答案：https://groups.google.com/forum/#!topic/spark-users/SyBJhQXBqIs

独立模式确实是要走的路。 Mesos 不能在 Windows 和 YARN 下工作。

【参考方案2】：

请注意，YARN 最终应该可以通过 Hortonworks 数据平台在 Windows 上运行（2.0 测试版在 YARN 上，但目前仅在 Linux 上）。另一个可能的途径是让它在 Hadoop 1.1（Windows 1.1 的 Hortonworks 数据平台）上运行 - 但让它在独立模式下运行的方法绝对是最容易上手的。