Q HPX 与“apache 云计算”（例如 vs spark）如何公平？

Posted 2023-02-21

【中文标题】Q HPX 与“apache 云计算”（例如 vs spark）如何公平？

【英文标题】：Q How does HPX fair vs 'apache cloud computing' (e.g. vs spark)?

【发布时间】：2016-02-12 14:11:49

【问题描述】：

我一直将 HPX (https://github.com/STEllAR-GROUP/hpx) 视为使应用程序更具可扩展性的潜在机制。

我认为 HPX 主要针对（并因此针对）通常拥有集群的 HPC 社区 具有许多代码的节点，它们之间具有快速互连。 parallelX 模型不需要这样做，但由于节点之间传递数据的成本较高，您的性能当然会下降。

另一方面，我们有一套 Java 框架，包括 hadoop、spark 和 flink。这些来自商业社区并解决不同类型的工作负载。

那么，如果您在它们之间进行选择，其中有什么（忽略 C++ 与 Java 的激烈争吵）

如果纯粹出于性能考虑，它们在开销方面如何比较？

当然，这在很大程度上取决于您要解决的问题类型。 我想更好地理解取舍。

【问题讨论】：

真的不是这样的问题……

我认为这是我正在寻找是否使用 HPX 或 Spark 开发应用程序的考虑因素。你还会在哪里问这个？

我猜Quora 可能是个好地方。你可以试试Software Recommendations，但我很确定它不符合标准。

Quora 你疯了吗！我认为乔尔会爬进棺材只是为了翻身！ :)

那是我的想法 :) 说真的，虽然 StackExchange 网站在内容方面非常固执己见，但 Spark 有用户列表，而 ste||ar 有 irc 频道。鉴于有 6 个问题，包括你的问题，我有点怀疑你会在这里得到答案，即使它不会被否决和删除。

【参考方案1】：

此时 HPX 尚未用于或适应云类型的场景。我们已经考虑过对其进行调整，但还没有实现任何东西。不过，这是可能的（原则上，正如您所指出的那样）。

【讨论】：

我明白了。所以我想还没有人尝试过比较事物。你的团队有什么样的适应能力？主要是为了优化节点之间的慢速互连，还是涉及更基本的东西？

首先我们需要创建一个特殊的网络层（例如在 websockets 之上）。一些额外的安全考虑也将适用。我猜，其他一切都取决于应用程序。

我不清楚你为什么需要一个基于 websockets 的层。正常使用 unix 套接字和 TCP 有什么问题？是为了避免手动打开防火墙中的端口吗？我可以看到这是有道理的。

是的，主要是防火墙问题。安全是另一个问题。