Apache Mesos 实际上做了啥？

Posted 2023-02-19

【中文标题】Apache Mesos 实际上做了啥？

【英文标题】：What does Apache Mesos actually do?Apache Mesos 实际上做了什么？

【发布时间】：2015-03-21 13:29:18

【问题描述】：

我正试图绕开Apache Mesos 并需要澄清一些事项。

我对 Mesos 的理解是它是一个可执行文件，可以安装在集群中的每个物理/VM 服务器（“节点”）上，然后提供 Java API（不知何故）将每个单独的节点视为计算资源（CPU / RAM /等）的集体池。因此，对于针对 Java API 进行编码的程序，它们只看到一组资源，而不必担心代码的部署方式/位置。

因此，我的理解可能从根本上是错误的（在这种情况下，请纠正我！）。但是，如果我是目标，那么 Java API（由 Mesos 提供）如何允许 Java 客户端利用这些资源？！？有人可以举一个 Mesos 的具体例子吗？

---

更新

看看下面我糟糕的图画。如果我正确理解 Mesos 架构，我们有一个由 3 个物理服务器组成的集群（phys01、phys02 和 phys03）。这些物理设备中的每一个都在运行一个 Ubuntu 主机（或其他任何东西）。通过一个虚拟机管理程序，比如 Xen，我们可以运行 1+ 个虚拟机。

我对 Docker 和 CoreOS 很感兴趣，所以我会在这个例子中使用它们，但我猜这同样适用于其他非容器设置。

所以在每个 VM 上我们都有 CoreOS。在每个 CoreOS 实例上运行的是一个 Mesos 可执行文件/服务器。集群中的所有 Mesos 节点都将它们下面的所有内容视为一个资源池，并且可以将工件任意部署到 Mesos 集群，Mesos 会确定将它们实际部署到哪个 CoreOS 实例。

在 Mesos 之上运行的是“Mesos 框架”，例如 Marathon 或 Kubernetes。在 Kubernetes 中运行的是各种 Docker 容器（C1 - C4）。

这种对 Mesos 的理解或多或少是正确的吗？

【问题讨论】：

我认为 Mesos 节点不会将下面的所有内容都视为单个资源池，而是将其上方的层视为框架。我说的对吗？

【参考方案1】：

您的总结几乎是正确的，但它并没有反映 mesos 所代表的本质。项目背后的公司 mesosphere 的愿景是创建一个“数据中心操作系统”，而 mesos 是它的内核，类似于普通操作系统的内核。 API 不限于 Java，您可以使用 C、C++、Java/Scala 或 Python。 如果您按照问题中的描述设置了 mesos 集群并希望使用您的资源，您通常通过 framework 进行此操作，而不是直接在其上运行工作负载。这并不意味着这很复杂here is a very small example in Scala 证明了这一点。存在多个流行的分布式数据处理系统的框架，例如Apache Spark、Apache Cassandra。还有其他框架，例如 Chronos 数据中心级别的 cron 或允许您运行基于 Docker 的应用程序的 Marathon。

更新：

是的，mesos 会像内核一样关注集群中的位置——调度和管理有限资源。然而，您所勾画的设置提出了几个明显的问题。

mesos 下的层： Installing mesos on CoreOS 是可能的，但我认为很麻烦。这不是运行 mesos 的典型场景——通常它被移动到可能的最低层（在你的例子中高于 Ubuntu）。所以我希望你有充分的理由运行 CoreOS 和一个虚拟机管理程序。

mesos 上方的图层： Kubernetes 可以作为框架使用，中间层似乎在其中付出了很多努力。然而，毫无疑问，在功能方面存在部分重叠——尤其是在调度方面。如果您想基于 Containers 安排基本工作负载，您最好使用Marathon 或将来使用Aurora。所以在这里我也希望你有充分的理由来做这个安排。 旁注：Kubernetes 与 Marathon 类似，但方法更广泛，也很有主见。

【讨论】：

非常感谢@vanthome (+1) - 请看看我的更新和绘图。我的要点正确吗？如果是这样，我仍然不了解 Mesos 节点和在它们上运行的“框架”（例如 Marathon 或 Kubernetes）之间的不同角色，您能详细说明一下吗？再次感谢！

那么，相对于虚拟服务器来说，mesos 在物理服务器上运行最好是否公平？如果是或不是，为什么？

@CharlesPrakashDasari 一般来说，所有分布式资源管理系统都应该在裸机上运行，​​因为根据经验，如果您将虚拟化系统层叠在一起，每层将花费您约 10% 的 IO -表现。但是，CPU 和内存开销通常可以忽略不计。

@vanthome 在很多地方，我看到框架（Kubernetes 的 Marathon/Aurora/Framework 组件）执行“调度”，因此它是调度程序。但是您说 Mesos 进行调度，因为它是内核在一个地方的工作，而框架在另一个地方进行调度。正如您所说，Mesos 和 FW 的调度似乎重叠。对我来说，查找资源似乎是调度程序的核心工作，但这项工作是由 Mesos 完成的，Mesos 是框架/调度程序之下的一层。

@vanthome 那么框架（应该是调度器）的工作是什么？粒度级别的“调度”的各种子工作是什么？调度的哪些部分由 Mesos 完成，哪些部分的调度由框架完成？