Mesos 1.7.0发布-在性能容器化和多框架运行方面有重大提升!

Posted Mesosphere APAC

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Mesos 1.7.0发布-在性能容器化和多框架运行方面有重大提升!相关的知识,希望对你有一定的参考价值。



在此隆重宣布Apache Mesos 1.7.0版正式发布,已经开放下载。欢迎大家尝试新发布的功能,下载链接:http://mesos.apache.org/downloads


Mesos1.7.0新特性与性能提升

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!
Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!

性能提升

在Mesos1.7.0版本发布中,我们特别强调性能的提升。得益于社区的辛勤努力和贡献,先前困扰用户的许多瓶颈都得以解决,在性能方面得到了极大提升。

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!
  • master节点上的/state状态端点目前是先前版本2倍快,其上的处理都实现并行化以支持更高的吞吐率。利用/state端点包括Mesos UI在内的一众工具链的响应速率将会更快。

  • Mesos容器化支持(Containerizer-http://mesos.apache.org/documentation/latest/mesos-containerizer)是替代Docker运行时的高性能选择,如今:创建和销毁Mesos容器的吞吐率提升至先前的2倍。

  • Agent节点上/containers端点不再会导致大量CPU资源消耗了,响应速度由此会快很多。使用新版本,可以在agent上一下扩增出上百个容器而不用担心有什么问题。

  • 我们在资源分配器上做了多处优化,在有1000个节点的集群测试中,完成一个分配周期比之前快了20%。此方面更多改进正在开发中,将会在1.8版本发布中带来更显著的提升。


此外,系统各处还有其他许多性能改进。我们会很快单独开设一个专题,详细深入地介绍1.7.0的性能改进,敬请关注!

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!

容器化

同以往的升级一样,1.7.0版本修复了若干bug,提升了系统稳定性和可靠性。 同时,新发布引入了下述诸多重大改进和新特性:

  • 新引入的“cgroups/all”agent节点隔离选项:这个选项使得cgroups隔离自动用户不再需要手动选择为子系统划分cgroups进程隔离机制。

  • 更好的cgroupfs文件系统隔离机制:由Mesos Containerizer启动的容器现在只能访问路径/sys/fs/cgroup下自身所属cgroups组,而看不到其他容器的cgroups信息。

  • 新的linux/devices隔离器:如果在agent上设定--allowed_devices标志位,新的隔离器可以自动向容器挂载白名单设备。

  • 更好容器网络统计:内建的容器网络接口(CNI)现在能向用户暴露出更多统计数据, 监控各个容器对网络的使用。

  • 更好地度量镜像下拉情况:新加入的容器支持度量工具(http://mesos.apache.org/documentation/latest/monitoring/#containerizers)使得用户可以监控下拉镜像(image pulling)操作延迟的分布情况。

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!

框架度量

为了提升集群操作者的用户体验监控和诊断,我们在Mesos 1.7.0版本中增加了许多种类的测量指标,极大地丰富集群度量手段,运行在集群上任一个框架的行为能够高度可视化。


我们按照框架粒度添加度量,新增测量指标键值(keys)会作为框架register信息中的注册项报告给master节点。举例说明,新的度量中会包含:收到的请求数,发出的事件数,框架资源offer相关的计数(发出/接收/拒绝),完成的不同种类offer操作的计数,某个框架当前任务分状态统计值。

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!

多框架工作流

用户结合上文所述在调度器、度量方面的改进和以下两点帮助,可以显著提升在Mesos 1.7.0版本上运行多框架的体验:

  • 我们完善了框架开发指南,指导用户如何在多框架集群上,正确实现并良好运行一个自己的框架。

  • 在已有的DRF排序的基础上,我们加入了新的加权随机排序器。不适合“主导资源公平”调度的场合,用户可以选择“加权均匀分布”的调度策略。


升级步骤

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!

大多数情况下,从Mesos 1.6.0升级到1.7.0相当简单直观。请参照升级指导进行操作-upgrade guide:http://mesos.apache.org/documentation/latest/upgrades


社区

Mesos 1.7.0发布-在性能、容器化和多框架运行方面有重大提升!

新发布版本的内容有否启发帮助到您?您是否也想参与其中?我们期待您建言献策!

您尽可以加入Mesos社区工作组(http://mesos.apache.org/community/#working-groups),也可以马上加入社区(http://mesos.apache.org/community)讨论!


致谢!

诚挚感谢以下50名贡献者,使得Mesos 1.7.0版得以实现 :

Akash Gupta, Alexander Rojas, Alexander Rukletsov, Andrei Budnik, Andrew Schwartzmeyer, Armand Grillet, Benjamin Bannier, Benjamin Mahler, Benno Evers, Chen Runcong, Chun-Hung Hsiao, Clement Michaud, Dario Rexin, Eric Chung, Gary Yao, Gastón Kleiman, Gilbert Song, Greg Mann, Harold Dost, Ilya Pronin, James Peach, Jan Schlicht, Jiang Yan Xu, Jie Yu, John Kordich, Joseph Wu, Judith Malnick, Kapil Arya, Kevin Klues, Kjetil Joergensen, Meng Zhu, Pavi Sandhu, Qian Zhang, Radhika Jandhyala, Sergey Urbanovich, Tarun Gupta Akirala, Thodoris Zois, Till Toenshoff, Vinod Kone, Xudong Ni, Zhitao Li, Bin Zheng, Cai Shuhua, Cui Dt, He Yi Hua, janisz, LongFei Niu, Wei Xiao, Xiang Chaosheng, Zois。


译者:Isaac Lu, Mesosphere

Come Work With Us!

  • Engineering Manager-Beijing

  • Customer Operations Engineer-Beijing

  • Customer Success Manager-Beijing

  • Solutions Architect-Shanghai

以上是关于Mesos 1.7.0发布-在性能容器化和多框架运行方面有重大提升!的主要内容,如果未能解决你的问题,请参考以下文章

Mesos 1.5发布,在存储性能资源管理以及容器化方面有重大改进

聊聊容器调度框架,看又拍云如何基于mesos实现

基于 mesos 的容器调度框架

Mesos使用统一容器管理器支持多种容器

第一本Mesos中文书籍

Mesos架构与去哪儿的统一框架实践