分布式调度系统现状

Posted 2020-10-14 mesakii

来自于阿里云

https://edu.aliyun.com/course/31/learn?spm=5176.8764728.0.0.qDnlmZ#lesson/618

课时一：分布式调度系统的现状

分布式调度的两大任务：任务调度和资源调度

任务调度：大量的计算任务、任务如何让切分、数据如何分割运算、监控运算状态

资源调度：供给方、不同业务间的平衡资源、支持优先级抢占

 

分布式调度系统：Hadoop MR(map reduce) ,YARN, Mesos, Aliyun-Fuxi

hadoop的map-reduce 典型的主从关系，存在的问题是 规模扩展存在瓶颈，

1.每增加一个节点，task_track注册到job_track就要加载新的内存

2.容错性差，Job Tracker 单点没有failover 一旦宕机，就会造成信息丢失

3.不利于功能扩展，不同任务采用不同的调度策略

 

很难做到热拔插（不停止进程的情况下改变系统的调度行为）

YARN：

区别（与hadoop）

1.将资源调度与任务调度进行区分

2.可以支撑更大的计算规模

 

缺陷：

1.只支持内存维度的分配

2.资源的交互性能

 

{调度是一个背包问题：

考虑内存时，调度是一维线性规划，

增加资源时，调度是高维背包问题

所以YARN仅支持内存维度的问题

}