YARN对比MapReduce1

Posted 2020-06-17

1. 可扩展性：与jobtracker相反，每一个应用实例，这里可以说是一个MapReduce job有一个转有的应用管理，在应用执行期间运行。这个模型更靠近原始的google论文。
2. 高可用:高可用（High availability)通常是在服务进程失败后，另一个守护进程(daemon)能够复制状态并且接管工作。然而，对于大量快速复杂的状态改变，在jobtracker的内存中，使它非常困难保证HA对于这个服务，通过对jobtracker的责任拆分,一个resource manager 和一个application master在YARN中。使得个可用变了一个分治问题。
3. 利用率：MapReduce1 每一个tasktracker被一个静态分配的固定大小的slots配置。将其分配为map slots 和reduce slots在配置的时候，一个map slot 只能跑map任务，一个reduce slot只能跑reduce任务。在YARN中，一个node manager管理一个资源池，难道在MapReduce 1中，reduce必须得等到map任务跑完才能跑？
4. 多租户(Multitenancy):YARN的最大好处，是它打开了Hadoop的大门，对于其他分布式的应用。MapReduce也只不过是其中的一个应用而已。