Elastic Mesos服务实现EC2中集群自动化部署

Posted 2021-04-24 InfoQ

EC2用户现在能够自动化部署Apache Mesos了，后者是一个能够在多个数据处理框架之间共享集群资源的开源工具，可以通过大数据创业公司Mesosphere所提供的一个称为Elastic Mesos的新Web服务实现规模化。

该服务在本质上类似于Amazon的Elastic MapReduce，因为它会在Amazon EC2实例上安装Mesos依赖的所有内容，包括Zookeeper和HDFS，同时会交付一个准备就绪的集群。最重要的是，没有任何与Elastic Mesos相关的费用，所以你只需要为自己使用的EC2付费。Elastic Mesos现在建议的集群大小限制为6个或者us-east-1区域中的18个m1.large实例，这受制于按需实例的价格。

Mesos最初是由UC Berkeley作为一个研究项目开发的，之后Twitter迅速将它变成了一个功能完整的平台以便于处理自己爆发式的增长。随着Twitter的高级副总裁Christopher Fry将Mesos看作是“自己版本的弹性计算”，现在它已经是Apache的一个顶级项目了。围绕着Mesos开发一款产品对于Mesosphere而言非常有意义，它的创建者Flo Leibert和Tobi Knaup之前在Twitter和Airbnb工作，这两家公司是Mesos的两个最大采用者。 Mesos 的支持者每个月都在增长，现在你能够在Mesos的技术支持名单中找到像Vimeo、OpenTable或者UC Berkeley这样的大牌。

Elastic Mesos类似于 Apache Whirr，后者是一个能够运行并管理云端服务的开源类库，但是Whirr 并不支持Mesos 。即使是这样，Elastic Mesos提供了一个自包含的服务，而Whirr则更多的是面向对集群的整个生命周期有更多控制权的系统管理员。

这是Mesos向主流采用迈出的第一大步，人们经常搞混的一个项目是Hadoop YARN。这两个项目确实都有同样的目标，也就是实现无缝地、有效地共享集群，但是到目前为止YARN的采用率更高，因为它是Hadoop 2事实上的调度器。

虽然这样做对它的采用会有多大的推动作用尚不能知晓，但是Twitter上的社区响应大部分都是正面的。在2013年12月份的Spark Summit 上也已经有了一个教程，该教程详细描述了如何在Elastic Mesos上运行Spark，该教程在Spark社区中引起了非常好的反响。

***********************************

本文来自InfoQ微信公众账号：infoqchina

1、回复“今日新闻”，查看今天更新的新闻；

2、回复“今日英文”，查看今天英文站的更新；

3、回复“文章 +关键词”，搜索关键词相关内容；

4、回复“QCon”，了解QCon大会相关信息；

5、回复“活动”，了解最近InfoQ组织的线下沙龙；

7、回复“投稿”，了解投稿和加入编辑团队的流程。

***********************************