扩展Yarn资源模型详解1
Posted About云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了扩展Yarn资源模型详解1相关的知识，希望对你有一定的参考价值。
问题导读
1.countable资源是指哪些？
2.noncountable资源，本文列举了什么资源？
3.标签是否为资源？
4.如何实现扩展YARN资源模型？
转载注明来自about云
本文链接:
http://www.aboutyun.com/forum.php?mod=viewthread&tid=23794
概述
当前Yarn支持各种资源类型：比如：
disk( YARN2139),https://issues.apache.org/jira/browse/yarn-2139
network( YARN2140), https://issues.apache.org/jira/browse/YARN-2140
和HDFS bandwidth( YARN2681).https://issues.apache.org/jira/browse/YARN-2681
本文档提出了将YARN资源模型扩展为更加灵活的模型，使其更容易添加新的countable类型的资源。它还考虑了“resource profiles”的相关方面，这些资源配置文件允许用户容易地指定它们需要的容器资源。当添加对新资源类型的支持时，有两个方面需要考虑调度和隔离。 本文档仅涉及调度方面。
背景
在YARN中添加一个新的countable资源类型是一个相当复杂的过程。 需要进行大量的工作来修改ProtocolBuffers文件以及相应的Java源代码。 这必须通过修改 DominantResourceCalculator类添加对新资源类型的支持。 另外，许多不相关的测试用例都必须修改，因为他们使用了esource.newInstance（memory,，vcores)）函数。此外，大多数新的资源类型被视为相同，只是名称不同而已。 总而言之，需要修改37个源文件来增加对新磁盘资源类型的支持;而对于未来的资源类型，类似的（可能更大的）将不得不进行修改，而且大部分更改将与之前的更改相同， 唯一的区别是变量的名称。
我们建议更改资源模型以支持可由群集管理员定义的任意、countable资源。 当我们谈到countable资源时，我们指的是资源的分配和释放是一个简单的减法和加法操作的资源类型。 我们不会在此版本的文档中涵盖专用资源，如端口【ports】或不可数量【noncountable】的资源（如标签）。 然而，我们的建议并没有排除增加对标签等资源类型的支持，这种工作可以作为未来工作的一部分来进行。
扩展YARN资源模型
ResourceManager
在我们提出的模型中，我们添加一个新的配置文件“resourcetypes.xml“，管理员可以使用它来添加新的资源类型。 ResourceManager（RM）“resource-types.xml”来确定启用调度的资源类型集合。 这些配置可以在yarn-site.xml配置，但是在一个单独的文件中指定它们可能会更清晰。 资源配置文件必须包含内存和vcore作为资源类型以防止功能的任何损失。 管理员可以添加任意新的资源类型，只要他们代表的资源是countable。
resource-types.xml样例如下
[XML] 纯文本查看 复制代码
?
|
01
以上是关于扩展Yarn资源模型详解1的主要内容，如果未能解决你的问题，请参考以下文章 |