mesos+myriad应用
Posted 中移苏研大数据博客
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mesos+myriad应用相关的知识，希望对你有一定的参考价值。
1. Myriad：Mesos上运行Yarn
Mesos和Yarn都是集群资源调度的框架。通常的观点认为，Yarn更适合调度Hadoop相关任务而mesos更适合调度非hadoop型的任务。当需要在一个物理集群中同时运行hadoop和非hadoop类型的任务时，一种方案是将集群静态分割成两个部分，一个子集群通过mesos来管理，用于运行非hadoop任务，而另一个子集群通过yarn来管理，运行hadoop任务，如下图。
这种方案的缺点在于，两个自己群之间固定分配好了，使得资源无法有效弹性使用：当一个集群中资源利用率比较低而另一个集群利用率较高时，较高集群无法利用较低集群资源。
Myriad
Myriad是一种让yarn与mesos协同运行的方案。大体思路如下：
1.1，集群通过mesos管理所有的节点资源，mesos在集群内启动master以及slave。
1.2，启动resourcemanager，这个resourcemanager本身并不属于mesos管理（resourcemanger在mesos集群外都是可以的）
1.3，resourcemanager中配置的scheduler为MyriadFairScheduler，这个scheduler包装了yarn中原生的fairscheduler，包含其所有功能，并且会与mesos进行通信，申请资源。
1.4，启动rm后，scheduler会向mesos申请资源。申请的每一份资源就是一个nodemanager及其管理的yarn资源。例如yarn向mesos申请一个[2.5G,2.5CPU]资源，实际就是一个占用[0.5G,0.5CPU]的nodemanager及其管理[2G，2CPU]的资源
1.5， nodemanager通过MyriadExecutor（这个是嵌入到nodemanager aux-services中的服务）向mesos进行汇报。对于mesos来说，启动的container都是nodemanager进程
1.6，提交作业的流程与yarn原先一致
2.Mesos+Myriad环境搭建
2.1. 系统环境：
Centos6.5， Linux version 2.6.32-431.el6.x86_64
安装hadoop、zookeeper（过程略）
启动hdfs（hdfs并不依赖于mesos）
2.2. 安装并配置mesos
2.2.1. 安装环境依赖
|
# Install a recent kernel for full support of process isolation.
以上是关于mesos+myriad应用的主要内容，如果未能解决你的问题，请参考以下文章 Tachyon on Mesos：分布式内存文件系统在Mesos应用中的实践 |