capacity-scheduler.xml yarn容量调度配置文件

Posted 2020-10-19 vv.past

<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

  <property>
    <name>yarn.scheduler.capacity.maximum-applications</name>
    <value>10000</value>
    <description>最多可同时处于等待和运行状态的应用程序数目</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>1</value>
    <description>集群中可用于运行application master的资源比例上限,这通常用于限制并发运行的应用程序数目.</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default</value>
    <description>root队列的所有子队列,该实例中只有一个</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>100</value>
    <description>default队列的资源容量</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
    <value>1</value>
    <description>每个用户可使用的资源限制</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
    <description>Default队列可使用的资源上限.</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.default.state</name>
    <value>RUNNING</value>
    <description>Default队列的状态,可以是RUNNING或者STOPPED.</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
    <value>*</value>
    <description>限制哪些用户可向default队列中提交应用程序."*"表示任意用户</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
    <value>*</value>
    <description>限制哪些用户可管理default队列中的应用程序,“*”表示任意用户</description>
  </property>
 
  <property>
    <name>yarn.scheduler.capacity.node-locality-delay</name>
    <value>-1</value>
    <description>
    调度器尝试调度一个rack-local container之前,
    最多跳过的调度机会,通常而言,该值被设置成集群中机架数目,默认情况下为-1,表示不启用该功能.
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator</value>
    <description>
    ResourceCalculator用于比较调度程序资源的,
    默认的即是DefaultResourceCalculator,默认只关注内存和CPU资源
    </description>
  </property>


  <property>
    <name>yarn.scheduler.capacity.root.default.acl_application_max_priority</name>
    <value>*</value>
    <description>
      指定哪个用户可以提交具有配置任务优先级的应用
      For e.g, [user={name} group={name} max_priority={priority} default_priority={priority}]
    </description>
  </property>

   <property>
     <name>yarn.scheduler.capacity.root.default.maximum-application-lifetime</name>
     <value>-1</value>
     <description>
     以秒为单位提交给队列的应用程序的最大生命周期. 任何小于或等于零的值将被视为禁用.
         对于此队列中的所有应用程序,这将是一个困难的时间限制. 如果配置了正值,那么提交到该队列的任何应用程序将在超过配置的生命周期后被终止.
         用户还可以在应用程序提交上下文中指定每个应用程序的寿 但是,如果超过队列最大生命周期,则用户生存期将被覆盖. 这是时间点配置.
         注意：配置太低会导致应用程序更快被中断. 该功能仅适用于叶队列
     </description>
   </property>

   <property>
     <name>yarn.scheduler.capacity.root.default.default-application-lifetime</name>
     <value>-1</value>
     <description>
     以秒为单位提交给队列的应用程序的默认生存期. 任何小于或等于零的值将被视为禁用.
         如果用户没有提交具有生命周期值的应用程序,则将取这个值. 这是时间点配置.
         注意：默认的生命周期不能超过最大生存期. 该功能仅适用于叶队列.
     </description>
   </property>

  <property>
    <name>yarn.scheduler.capacity.rack-locality-additional-delay</name>
    <value>-1</value>
    <description>
    在节点本地延迟时间之外的另外的错过的调度机会的次数,在此之后,CapacityScheduler尝试调度非切换容器而不是机架本地容器.
        例如：在node-locality-delay = 40和rack-locality-delay = 20的情况下,
    调度器将在40次错过机会之后尝试机架本地分配,在40 + 20 = 60之后错过机会.
        设置此参数时,应考虑到群集的大小.
        我们使用-1作为默认值,禁用此功能. 在这种情况下,根据资源请求中指定的容器和唯一位置的数量以及集群的大小,
    计算分配关闭交换容器的错失机会的数量.
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.queue-mappings</name>
    <value></value>
    <description>
          将用于将作业分配给队列的映射列表.
          这个列表的映射语法: [u|g]:[name]:[queue_name][,next mapping]*
          通常这个列表将被用来映射用户到队列.
          例如, u:%user:%user 映射所有用户以与用户相同的名字排队.
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.queue-mappings-override.enable</name>
    <value>false</value>
    <description>
    如果存在队列映射，它是否会覆盖用户指定的值？ 管理员可以使用此项将作业放入与用户指定的队列不同的队列中.
        默认值是false.
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.per-node-heartbeat.maximum-offswitch-assignments</name>
    <value>1</value>
    <description>
    控制节点心跳期间允许的OFF_SWITCH分配的数量.
    增加此值可以提高OFF_SWITCH容器的调度速率. 较低的值可减少特定节点上应用程序的“聚集”. 默认值是1.
           合法值是1-MAX_INT. 这个配置是可刷新的.
    </description>
  </property>

</configuration>