Hadoop2.7.7 API: yarn-site.xml 解析

Posted 大墨垂杨

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop2.7.7 API: yarn-site.xml 解析相关的知识,希望对你有一定的参考价值。

转自:https://blog.csdn.net/zhanglong_4444/article/details/99471770

 

 

name description value  
hadoop.registry.rm.enabled
是否在YARN资源管理器中启用了注册表?

      如果属实,那么YARN RM将根据需要。
      创建用户和系统路径,并清除
      服务记录集装箱,应用程序尝试
      和应用程序完成。

      如果错误,路径必须通过其他方式创建,
      并且不会自动清理服务记录
  TRUE
hadoop.registry.zk.quorum 配置 zk   bj-rack001-hadoop002:2181,bj-rack001-hadoop004:2181,bj-rack001-hadoop003:2181
yarn.ipc.client.factory.class 工厂创建客户端IPC类。    
yarn.ipc.server.factory.class 工厂创建服务器IPC类。    
yarn.ipc.record.factory.class 工厂创建可序列化的记录。    
yarn.ipc.rpc.class RPC类实现 org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC  
yarn.resourcemanager.hostname RM的主机名。 0.0.0.0 bj-rack001-hadoop003
yarn.resourcemanager.address RM中应用程序管理器界面的地址。 ${yarn.resourcemanager.hostname}:8032 bj-rack001-hadoop003:8050
yarn.resourcemanager.bind-host 服务器将绑定到的实际地址。如果设置了此可选地址,则RPC和webapp服务器将分别绑定到此地址和yarn.resourcemanager.address和yarn.resourcemanager.webapp.address中指定的端口。这对于通过设置为0.0.0.0使RM监听所有接口非常有用。   0.0.0.0
yarn.resourcemanager.auto-update.containers 如果设置为true,则所有容器更新将自动发送到下一个心跳中的NM FALSE  
yarn.resourcemanager.client.thread-count 用于处理应用程序管理器请求的线程数。 50  
yarn.resourcemanager.amlauncher.thread-count 用于启动/清理AM的线程数。 50  
yarn.resourcemanager.nodemanager-connect-retries 重试与NM连接的时间。 10  
yarn.dispatcher.drain-events.timeout YARN调度程序尝试排除事件时超时(以毫秒为单位)。通常,这在服务停止时发生。例如,RM在停止时消耗ATS事件调度员。 300000  
yarn.am.liveness-monitor.expiry-interval-ms 应用程序主报告的到期时间间隔。 600000  
yarn.resourcemanager.principal 资源管理器的Kerberos主体。    
yarn.resourcemanager.scheduler.address 调度程序接口的地址。 ${yarn.resourcemanager.hostname}:8030 bj-rack001-hadoop003:8030
yarn.resourcemanager.scheduler.client.thread-count 处理调度程序接口的线程数。 50  
yarn.resourcemanager.application-master-service.processors 逗号分隔的ApplicationMasterServiceProcessor实现的类名。处理器将按指定的顺序应用。    
yarn.http.policy 这会为YARN守护程序配置HTTP端点。支持以下值: - HTTP_ONLY:仅在http上提供服务 - HTTPS_ONLY:仅在https上提供服务 HTTP_ONLY  
yarn.resourcemanager.webapp.address RM Web应用程序的http地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 ${yarn.resourcemanager.hostname}:8088 bj-rack001-hadoop003:8088
yarn.resourcemanager.webapp.https.address RM Web应用程序的https地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 ${yarn.resourcemanager.hostname}:8090 bj-rack001-hadoop003:8090
yarn.resourcemanager.webapp.spnego-keytab-file 用于RM Web界面的spnego过滤器的Kerberos keytab文件。    
yarn.resourcemanager.webapp.spnego-principal 用于RM Web界面的spnego过滤器的Kerberos主体。    
yarn.resourcemanager.webapp.ui-actions.enabled 在RM Application视图中添加按钮以终止应用程序。 TRUE  
yarn.webapp.ui2.enable 启用RM web ui2应用程序。 FALSE  
yarn.webapp.ui2.war-file-path 如果需要,明确提供ui2的WAR文件路径。    
yarn.resourcemanager.resource-tracker.address   ${yarn.resourcemanager.hostname}:8031 bj-rack001-hadoop003:8025
yarn.acl.enable 是否启用了acls。 FALSE  
yarn.acl.reservation-enable 是否启用了预订服务。 FALSE  
yarn.admin.acl 谁可以成为YARN集群管理员的ACL。 * activity_analyzer,yarn
yarn.resourcemanager.admin.address RM管理界面的地址。 ${yarn.resourcemanager.hostname}:8033 bj-rack001-hadoop003:8141
yarn.resourcemanager.admin.client.thread-count 用于处理RM管理界面的线程数。 1  
yarn.resourcemanager.connect.max-wait.ms 等待与ResourceManager建立连接的最长时间。 900000 -1
yarn.resourcemanager.connect.retry-interval.ms 多久尝试连接一次ResourceManager。 30000 15000
yarn.resourcemanager.am.max-attempts 最大应用程序尝试次数。它是所有应用程序主人的全局设置。每个应用程序主机都可以通过API指定其各自的最大应用程序尝试次数,但是单个数字不能超过全局上限。如果是,资源管理器将覆盖它。默认数量设置为2,以允许至少一次重试AM。 2  
yarn.resourcemanager.container.liveness-monitor.interval-ms 检查容器是否还活着的频率。 600000  
yarn.resourcemanager.keytab 资源管理器的keytab。 /etc/krb5.keytab  
yarn.resourcemanager.webapp.delegation-token-auth-filter.enabled 标记以启用使用RM身份验证筛选器覆盖默认kerberos身份验证筛选器以允许使用委派令牌进行身份验证(如果缺少令牌,则回退到kerberos)。仅适用于http身份验证类型为kerberos的情况。 TRUE false
yarn.resourcemanager.webapp.cross-origin.enabled 标记以在RM中启用跨源(CORS)支持。此标志需要将CORS过滤器初始化程序添加到core-site.xml中的过滤器初始化程序列表中。 FALSE  
yarn.nm.liveness-monitor.expiry-interval-ms 等待节点管理器被认为已经死亡的时间。 600000  
yarn.resourcemanager.nodes.include-path 包含要包含的节点的文件路径。    
yarn.resourcemanager.nodes.exclude-path 包含要排除的节点的文件路径。   /etc/hadoop/conf/yarn.exclude
yarn.resourcemanager.node-ip-cache.expiry-interval-secs 节点IP缓存的到期时间间隔。-1禁用缓存 -1  
yarn.resourcemanager.resource-tracker.client.thread-count 处理资源跟踪器调用的线程数。 50  
yarn.resourcemanager.scheduler.class 用作资源调度程序的类。 org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
yarn.scheduler.minimum-allocation-mb RM中每个容器请求的最小分配(MB)。低于此值的内存请求将设置为此属性的值。此外,资源管理器将关闭配置为具有比此值少的内存的节点管理器。 1024  
yarn.scheduler.maximum-allocation-mb RM中每个容器请求的最大分配,以MB为单位。高于此的内存请求将抛出InvalidResourceRequestException。 8192 30720
yarn.scheduler.minimum-allocation-vcores 就虚拟CPU核心而言,RM上每个容器请求的最小分配。低于此值的请求将设置为此属性的值。此外,资源管理器将关闭配置为具有比此值更少的虚拟核心的节点管理器。 1  
yarn.scheduler.maximum-allocation-vcores 就虚拟CPU核心而言,RM上每个容器请求的最大分配。高于此的请求将抛出InvalidResourceRequestException。 4 12
yarn.scheduler.include-port-in-node-name 由节点标签使用。如果设置为true,则端口应包含在节点名称中。仅在调度程序支持节点标签时才可用。 FALSE  
yarn.resourcemanager.recovery.enabled 启动后启用RM以恢复状态。如果为true,则必须指定yarn.resourcemanager.store.class。 FALSE true
yarn.resourcemanager.fail-fast 如果遇到任何错误,RM应该快速失败。通过defalt,它指向$ {yarn.fail-fast}。错误包括:1)状态存储写入/读取操作失败时的异常。 ${yarn.fail-fast}  
yarn.fail-fast 如果遇到任何错误,YARN应该快速失败。这是包括RM,NM等所有其他组件的全局配置。如果没有为特定于组件的配置设置值(例如yarn.resourcemanager.fail-fast),则此值将是默认值。 FALSE  
yarn.resourcemanager.work-preserving-recovery.enabled 启用RM工作以保留恢复。此配置对YARN是专用的,用于试验该功能。 TRUE  
yarn.resourcemanager.work-preserving-recovery.scheduling-wait-ms 设置RM在为工作保留 - 恢复分配新容器之前等待的时间。在将新容器分配给应用程序之前,这样的等待期使RM有机会在恢复时解决与集群中的NM重新同步的问题。 10000  
yarn.resourcemanager.store.class 用作持久存储的类。如果使用org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore,则隐式隔离存储; 这意味着单个ResourceManager可以在任何时间点使用商店。有关此隐式防护的更多详细信息以及设置适当的ACL将在yarn.resourcemanager.zk-state-store.root-node.acl中讨论。 org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
yarn.resourcemanager.ha.failover-controller.active-standby-elector.zk.retries 启用自动故障转移后,ActiveStandbyElector中的zookeeper操作重试次数    
yarn.resourcemanager.state-store.max-completed-applications RM状态存储保留的最大已完成应用程序数,小于或等于$ {yarn.resourcemanager.max-completed-applications}。默认情况下,它等于$ {yarn.resourcemanager.max-completed-applications}。这可确保保存在状态存储中的应用程序与RM内存中记住的应用程序一致。任何大于$ {yarn.resourcemanager.max-completed-applications}的值都将重置为$ {yarn.resourcemanager.max-completed-applications}。请注意,此值会影响RM恢复性能。通常,值越小表示RM恢复的性能越好。 ${yarn.resourcemanager.max-completed-applications} ${yarn.resourcemanager.max-completed-applications}
yarn.resourcemanager.zk-state-store.parent-path ZooKeeper znode的完整路径,其中将存储RM状态。当使用org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore作为yarn.resourcemanager.store.class的值时,必须提供此参数。 /rmstore  
yarn.resourcemanager.zk-state-store.root-node.acl 在HA场景中使用ZKRMStateStore进行防护时,用于根znode的ACL。ZKRMStateStore支持隐式防护,允许单个ResourceManager对存储进行写访问。对于防护,群集中的ResourceManagers在根节点上共享读写管理员权限,但Active ResourceManager声明了独占的create-delete权限。默认情况下,如果未设置此属性,我们将使用yarn.resourcemanager.zk-acl中的ACL进行共享管理员访问,使用rm-address:random-number进行基于用户名的独占创建 - 删除访问。此属性允许用户设置自己选择的ACL,而不是使用默认机制。为击剑工作,    
yarn.resourcemanager.fs.state-store.uri URI指向将存储RM状态的FileSystem路径的位置。当使用org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore作为yarn.resourcemanager.store.class的值时,必须提供此参数。 ${hadoop.tmp.dir}/yarn/system/rmstore <property>
      <name>yarn.resourcemanager.fs.state-store.uri</name>
      <value> </value>
    </property>
yarn.resourcemanager.fs.state-store.retry-policy-spec hdfs客户端重试策略规范。始终启用hdfs客户端重试。在成对的休眠时间和重试次数以及(t0,n0),(t1,n1),...中指定,第一个n0重试平均休眠t0毫秒,以下n1重试平均休眠t1毫秒,等等。 2000, 500  
yarn.resourcemanager.fs.state-store.num-retries 在FileSystemRMStateStore中从IOException恢复的重试次数。 0  
yarn.resourcemanager.fs.state-store.retry-interval-ms 在FileSystemRMStateStore中重试间隔(以毫秒为单位)。 1000  
yarn.resourcemanager.leveldb-state-store.path 使用org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore作为yarn.resourcemanager.store.class的值时将存储RM状态的本地路径 ${hadoop.tmp.dir}/yarn/system/rmstore  
yarn.resourcemanager.leveldb-state-store.compaction-interval-secs leveldb数据库完全压缩之间的时间(以秒为单位)。将间隔设置为零会禁用完整的压缩循环。 3600  
yarn.resourcemanager.ha.enabled 启用RM高可用性。启用时,(1)默认情况下,RM以待机模式启动,并在提示时转换为活动模式。(2)RM集合中的节点列在yarn.resourcemanager.ha.rm-ids中(3)如果明确指定了yarn.resourcemanager.ha.id,则每个RM的id来自yarn.resourcemanager.ha.id或者可以通过匹配yarn??.resourcemanager.address。{id}与本地地址(4)找出实际的物理地址来自模式的配置 - {rpc-config}。{id} FALSE  
yarn.resourcemanager.ha.automatic-failover.enabled 启用自动故障转移。默认情况下,仅在启用HA时启用它 TRUE  
yarn.resourcemanager.ha.automatic-failover.embedded 启用嵌入式自动故障转移。默认情况下,仅在启用HA时启用它。嵌入式选举器依赖RM状态存储来处理防护,主要用于与ZKRMStateStore结合使用。 TRUE  
yarn.resourcemanager.ha.automatic-failover.zk-base-path 用于存储领导者信息的基本znode路径,当使用基于ZooKeeper的领导者选举时。 /yarn-leader-election  
yarn.resourcemanager.zk-appid-node.split-index 应用程序ID的最后一部分(应用程序ID中用_分隔的每个部分)的索引将被拆分,以便存储在zookeeper RM状态存储中的应用程序znode将存储为两个不同的znode(父子)。拆分从最后完成。例如,如果没有拆分,appid znode将采用application_1352994193343_0001的形式。如果此配置的值为1,则appid znode将分为两部分application_1352994193343_000和1,前者分别为父节点。然后,application_1352994193343_0002将在父节点application_1352994193343_000下存储为2。此配置可以取0到4之间的值.0表示不会有拆分。如果配置值超出此范围,则将其视为配置值0(即 没有分裂)。如果在基于ZK的RM状态存储中存储大量应用程序并且状态存储操作由于Zookeeper中的LenError而失败,则应配置大于0(最多4)的值。 0  
yarn.resourcemanager.zk-delegation-token-node.split-index 将分割RM委派令牌ID的索引,以便存储在zookeeper RM状态存储中的委托令牌znode将存储为两个不同的znode(父子)。分裂是从最后完成的。例如,如果没有拆分,则委托令牌znode的格式为RMDelegationToken_123456789。如果此配置的值为1,则委托令牌znode将分为两部分:RMDelegationToken_12345678和9,前者为父节点。此配置可以取0到4之间的值.0表示不会有拆分。如果该值超出此范围,则将其视为0(即不分割)。如果运行大量应用程序,则应配置大于0(最多4)的值, 0  
yarn.resourcemanager.zk-max-znode-size.bytes 指定可以存储在znode中的数据的最大大小。值应该与zookeeper中配置的jute.maxbuffer相同或更小。配置的默认值为1MB。 1048576  
yarn.resourcemanager.cluster-id 集群的名称。在HA设置中,这用于确保RM参与此群集的领导者选举,并确保它不会影响其他群集    
yarn.resourcemanager.ha.rm-ids 启用HA时群集中的RM节点列表。有关如何使用纱线的详细信息,请参阅yarn.resourcemanager.ha .enabled的说明。    
yarn.resourcemanager.ha.id 当前RM的id(字符串)。启用HA时,这是可选配置。当前RM的id可以通过显式指定yarn.resourcemanager.ha.id来设置,也可以通过匹配yarn??.resourcemanager.address。{id}和本??地地址来计算。有关如何获取有关详细信息,请参阅yarn.resourcemanager.ha.enabled的说明这是用的。    
yarn.client.failover-proxy-provider 启用HA后,客户端,AM和NM将使用的类故障转移到Active RM。它应该扩展org.apache.hadoop.yarn.client.RMFailoverProxyProvider org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider
yarn.client.failover-max-attempts 启用HA后,FailoverProxyProvider应尝试进行故障转移的最大次数。设置后,将覆盖yarn.resourcemanager.connect.max-wait.ms。未设置时,这可以从yarn.resourcemanager.connect.max-wait.ms中推断出来。    
yarn.client.failover-sleep-base-ms 启用HA时,睡眠基数(以毫秒为单位)用于计算故障转移之间的指数延迟。设置后,将覆盖yarn.resourcemanager.connect。*设置。未设置时,将使用yarn.resourcemanager.connect.retry-interval.ms。    
yarn.client.failover-sleep-max-ms 启用HA时,故障转移之间的最长休眠时间(以毫秒为单位)。设置后,将覆盖yarn.resourcemanager.connect。*设置。未设置时,将使用yarn.resourcemanager.connect.retry-interval.ms。    
yarn.client.failover-retries 启用HA时,每次尝试连接到ResourceManager的重试次数。换句话说,它是在故障转移尝试期间使用的ipc.client.connect.max.retries 0  
yarn.client.failover-retries-on-socket-timeouts 启用HA时,每次尝试连接到套接字超时上的ResourceManager的重试次数。换句话说,它是在故障转移尝试期间使用的ipc.client.connect.max.retries.on.timeouts 0  
yarn.resourcemanager.max-completed-applications RM保留的已完成应用程序的最大数量。 10000  
yarn.resourcemanager.delayed.delegation-token.removal-interval-ms 延迟令牌删除线程运行的时间间隔 30000  
yarn.resourcemanager.delegation-token.max-conf-size-bytes 应用程序可以为RM提供的用于更新委派令牌的配置的最大大小(以字节为单位)。通过实验,每个键值对大约128个字节。默认值12800允许大约100个配置,可能更少。 12800  
yarn.resourcemanager.proxy-user-privileges.enabled 如果为true,则ResourceManager将具有代理用户权限。使用案例:在安全集群中,YARN要求用户hdfs delegation-tokens代表用户进行本地化和日志聚合。如果将其设置为true,则ResourceManager可以代表用户请求新的hdfs委派令牌。这是长期运行服务所需要的,因为hdfs令牌最终会过期,YARN需要新的有效令牌才能进行本地化和日志聚合。请注意,要启用此用例,相应的HDFS NameNode必须将ResourceManager配置为代理用户,以便当令牌超过其最大生命周期时,ResourceManager本身可以代表用户请求新令牌。 FALSE  
yarn.resourcemanager.am-rm-tokens.master-key-rolling-interval-secs 用于生成应用程序令牌的主密钥的翻转间隔 86400  
yarn.resourcemanager.container-tokens.master-key-rolling-interval-secs 用于生成容器令牌的主密钥的翻转间隔。预计它将比yarn.nm.liveness-monitor.expiry-interval-ms和yarn.resourcemanager.rm.container-allocation.expiry-interval-ms大得多。否则行为未定义。 86400  
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms 群集中每个NodeManager的心跳间隔(以毫秒为单位)。 1000  
yarn.resourcemanager.nodemanager.minimum.version 连接节点管理器的最小允许版本。有效值为NONE(无版本检查),EqualToRM(nodemanager的版本等于或大于RM版本)或版本字符串。 NONE  
yarn.resourcemanager.scheduler.monitor.enable 启用一组影响调度程序的定期监视器(在yarn.resourcemanager.scheduler.monitor.policies中指定)。 FALSE  
yarn.resourcemanager.scheduler.monitor.policies 与调度程序交互的SchedulingEditPolicy类列表。特定模块可能与调度程序,其他策略或任一配置不兼容。 org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy  
yarn.resourcemanager.configuration.provider-class 用作配置提供程序的类。如果使用org.apache.hadoop.yarn.LocalConfigurationProvider,则将加载本地配置。如果使用org.apache.hadoop.yarn.FileSystemBasedConfigurationProvider,则应首先将要加载的配置上载到远程文件系统。 org.apache.hadoop.yarn.LocalConfigurationProvider  
yarn.resourcemanager.configuration.file-system-based-store 如果yarn.resourcemanager.configuration.provider-class设置为org.apache.hadoop.yarn.FileSystemBasedConfigurationProvider,则该值指定ResourceManager加载配置的文件系统(例如HDFS)路径。 /yarn/conf  
yarn.resourcemanager.system-metrics-publisher.enabled 通过RM控制纱线系统指标是否发布到时间轴服务器(版本1)的设置。现在不推荐使用此配置,而使用yarn.system-metrics-publisher.enabled。 FALSE true
yarn.system-metrics-publisher.enabled 控制纱线系统指标是否在RM和NM上在时间轴服务上发布的设置。 FALSE  
yarn.rm.system-metrics-publisher.emit-container-events 控制纱线容器事件是否由RM发布到时间轴服务的设置。此配置设置适用于ATS V2。 FALSE  
yarn.resourcemanager.system-metrics-publisher.dispatcher.pool-size 发送yarn系统指标数据的工作线程数。 10  
yarn.resourcemanager.max-log-aggregation-diagnostics-in-memory 可以在RM中保存诊断/故障消息的数量以进行日志聚合。它还定义了可以在日志聚合web ui中显示的诊断/失败消息的数量。 10  
yarn.resourcemanager.delegation-token-renewer.thread-count RM DelegationTokenRenewer线程计数 50  
yarn.resourcemanager.delegation.key.update-interval RM密钥更新间隔(ms) 86400000  
yarn.resourcemanager.delegation.token.max-lifetime RM委托令牌最长生命周期(ms) 604800000  
yarn.resourcemanager.delegation.token.renew-interval RM委托令牌更新间隔(ms) 86400000  
yarn.resourcemanager.history-writer.multi-threaded-dispatcher.pool-size RMApplicationHistoryWriter的线程池大小。 10  
yarn.resourcemanager.metrics.runtime.buckets 与计划队列相关的度量标准的逗号分隔值列表(以分钟为单位)。 603,001,440  
yarn.resourcemanager.nm-tokens.master-key-rolling-interval-secs 用于生成NodeManager令牌的主密钥的翻转间隔。预计将设置为比yarn.nm.liveness-monitor.expiry-interval-ms大得多的值。 86400  
yarn.resourcemanager.reservation-system.enable 用于启用ResourceManager预留系统的标志。 FALSE  
yarn.resourcemanager.reservation-system.class 用作ResourceManager预留系统的Java类。默认情况下,使用CapacityScheduler时设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.CapacityReservationSystem,使用FairScheduler时设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.FairReservationSystem。    
yarn.resourcemanager.reservation-system.plan.follower 用于ResourceManager预订系统的计划跟随者策略类名称。默认情况下,设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.CapacitySchedulerPlanFollower在使用CapacityScheduler时使用,并在使用FairScheduler时设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.FairSchedulerPlanFollower。    
yarn.resourcemanager.reservation-system.planfollower.time-step 预约系统的步长,以毫秒为单位 1000  
yarn.resourcemanager.rm.container-allocation.expiry-interval-ms 容器的到期间隔 600000  
yarn.nodemanager.hostname NM的主机名。 0.0.0.0  
yarn.nodemanager.address NM中容器管理器的地址。 ${yarn.nodemanager.hostname}:0 0.0.0.0:45454
yarn.nodemanager.bind-host 服务器将绑定到的实际地址。如果设置了此可选地址,则RPC和webapp服务器将分别绑定到此地址和yarn.nodemanager.address和yarn.nodemanager.webapp.address中指定的端口。这对于通过设置为0.0.0.0使NM监听所有接口非常有用。   0.0.0.0
yarn.nodemanager.admin-env 应该从NodeManager环境转发到容器的环境变量。 MALLOC_ARENA_MAX=$MALLOC_ARENA_MAX MALLOC_ARENA_MAX=$MALLOC_ARENA_MAX
yarn.nodemanager.env-whitelist 容器可以覆盖的环境变量,而不是使用NodeManager的默认值。 JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME  
yarn.nodemanager.container-executor.class 谁将执行(启动)容器。 org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor
yarn.nodemanager.container-state-transition-listener.classes 逗号分隔的容器状态转换侦听器列表。    
yarn.nodemanager.container-manager.thread-count 容器管理器使用的线程数。 20  
yarn.nodemanager.collector-service.thread-count 收集器服务使用的线程数。 5  
yarn.nodemanager.delete.thread-count 清理中使用的线程数。 4  
yarn.nodemanager.opportunistic-containers-max-queue-length 要在nodemanager处排队的最大OPPORTUNISTIC容器数。 0  
yarn.nodemanager.delete.debug-delay-sec 应用程序在nodemanager的DeletionService删除应用程序的本地化文件目录和日志目录之前完成的秒数。要诊断YARN应用程序问题,请将此属性的值设置得足够大(例如,设置为600 = 10分钟)以允许检查这些目录。更改属性的值后,必须重新启动nodemanager才能使其生效。YARN应用程序工作目录的根目录可以使用yarn.nodemanager.local-dirs属性进行配置(见下文),YARN应用程序日志目录的根目录可以使用yarn.nodemanager.log-dirs属性进行配置(另请参见下面)。 0  
yarn.nodemanager.keytab NM的Keytab。 /etc/krb5.keytab  
yarn.nodemanager.local-dirs 存储本地化文件的目录列表。应用程序的本地化文件目录位于:$ {yarn.nodemanager.local-dirs} / usercache / $ {user} / appcache / application _ $ {appid}。单个容器的工作目录(称为container _ $ {contid})将是其子目录。 ${hadoop.tmp.dir}/nm-local-dir /data/hadoop/yarn/local
yarn.nodemanager.local-cache.max-files-per-directory 它限制将在单个本地目录中本地化的最大文件数。如果达到限制,则将创建子目录并将新文件本地化。如果设置为小于或等于36的值[这是子目录(0-9然后是az)],则NodeManager将无法启动。例如; [for public cache]如果配置值为40(4个文件+36个子目录),local-dir为“/ tmp / local-dir1”,那么它将允许直接在“/”内创建4个文件TMP /本地DIR1 / filecache”。对于进一步本地化的文件,它将在“/ tmp / local-dir1 / filecache”中创建一个子目录“0”,并将对其中的文件进行本地化,直到它变满。 8192  
yarn.nodemanager.localizer.address 地址定位器IPC的地址。 ${yarn.nodemanager.hostname}:8040  
yarn.nodemanager.collector-service.address 收集器服务IPC的地址。 ${yarn.nodemanager.hostname}:8048  
yarn.nodemanager.localizer.cache.cleanup.interval-ms 缓存清理之间的间隔。 600000  
yarn.nodemanager.localizer.cache.target-size-mb 每个节点管理器以MB为单位的本地化程序缓存的目标大小。它是一个目标保留大小,仅包含具有PUBLIC和PRIVATE可见性的资源,并且不包含具有APPLICATION可见性的资源 10240  
yarn.nodemanager.localizer.client.thread-count 处理本地化请求的线程数。 5  
yarn.nodemanager.localizer.fetch.thread-count 用于本地化提取的线程数。 4  
yarn.nodemanager.container-localizer.java.opts   -Xmx256m  
yarn.nodemanager.log-dirs 存储容器日志的位置。应用程序的本地化日志目录位于$ {yarn.nodemanager.log-dirs} / application _ $ {appid}中。单个容器的日志目录将在名为container _ {$ contid}的目录中。每个容器目录将包含该容器生成的文件stderr,stdin和syslog。 ${yarn.log.dir}/userlogs /data/hadoop/yarn/log
yarn.nodemanager.default-container-executor.log-dirs.permissions 使用DefaultContainerExecutor时用于创建容器目录的权限设置。这遵循标准用户/组/所有权限格式。 710  
yarn.log-aggregation-enable 是否启用日志聚合。日志聚合收集每个容器的日志,并在应用程序完成后将这些日志移动到文件系统,例如HDFS。用户可以配置“yarn.nodemanager.remote-app-log-dir”和“yarn.nodemanager.remote-app-log-dir-suffix”属性以确定这些日志的移动位置。用户可以通过应用程序时间线服务器访问日志。 FALSE true
yarn.log-aggregation.retain-seconds 在删除聚合日志之前保留多长时间。-1禁用。小心设置这个太小,你会浪费 name node 。 -1 2592000
yarn.log-aggregation.retain-check-interval-seconds 在聚合日志保留检查之间等待多长时间。如果设置为0或负值,则该值将计算为聚合日志保留时间的十分之一。小心设置这个太小,你会垃圾邮件名称节点。 -1  
yarn.log-aggregation.file-formats 指定我们将支持哪些日志文件控制器。我们添加的第一个文件控制器将用于编写聚合日志。这个以逗号分隔的配置将与配置一起使用:yarn.log-aggregation.file-controller。%s.class,它定义了支持的文件控制器的类。默认情况下,将使用TFile控制器。用户可以通过添加更多文件控制器来覆盖此配置。要支持后向兼容性,请确保我们始终添加TFile文件控制器。 TFile IndexedFormat,Tfile

IndexedFormat 估计会出问题, 需要配置:
<property>
      <name>yarn.log-aggregation.file-controller.IndexedFormat.class</name>
      <value>org.apache.hadoop.yarn.logaggregation.filecontroller.ifile.LogAggregationIndexedFileController</value>
    </property>
yarn.log-aggregation.file-controller.TFile.class 支持TFile读写操作的类。 org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController
yarn.log-aggregation-status.time-out.ms ResourceManager等待NodeManager报告其日志聚合状态的时间。如果从NodeManager报告日志聚合状态的等待时间超过配置的值,RM将报告此NodeManager的日志聚合状态为TIME_OUT 600000  
yarn.nodemanager.log.retain-seconds 保留用户日志的时间(以秒为单位)仅适用于禁用日志聚合的情况 10800 604800   ( 7 day)
yarn.nodemanager.remote-app-log-dir 将日志聚合到的位置。 /tmp/logs /app-logs
yarn.nodemanager.remote-app-log-dir-suffix 远程日志目录将在{yarn.nodemanager.remote-app-log-dir} / $ {user} / {thisParam}创建 logs  
yarn.nodemanager.log-container-debug-info.enabled 生成有关容器启动的其他日志。目前,这将创建启动脚本的副本,并列出容器工作目录的目录内容。列出目录内容时,我们遵循符号链接到最大深度为5(包括指向容器工作目录之外的符号链接),这可能导致启动容器的速度变慢。 FALSE  
yarn.nodemanager.resource.memory-mb 可以为容器分配的物理内存量(MB)。如果设置为-1且yarn.nodemanager.resource.detect-hardware-capabilities为true,则会自动计算(如果是Windows和Linux)。在其他情况下,默认值为8192MB。 -1 32768
yarn.nodemanager.resource.system-reserved-memory-mb 为非YARN进程保留的物理内存量(MB)。仅当yarn.nodemanager.resource.detect-hardware-capabilities设置为true且yarn.nodemanager.resource.memory-mb为-1时,才使用此配置。如果设置为-1,则此数量计算为20%(系统内存 - 2 * HADOOP_HEAPSIZE) -1  
yarn.nodemanager.pmem-check-enabled 是否将对容器强制实施物理内存限制。 TRUE  
yarn.nodemanager.vmem-check-enabled 是否将对容器强制实施虚拟内存限制。 TRUE false
yarn.nodemanager.vmem-pmem-ratio 设置容器的内存限制时虚拟内存与物理内存之间的比率。容器分配以物理内存表示,允许虚拟内存使用量超过此分配。 2.1  
yarn.nodemanager.resource.cpu-vcores 可以为容器分配的vcores数。在为容器分配资源时,RM调度程序使用它。这不用于限制YARN容器使用的CPU数量。如果设置为-1且yarn.nodemanager.resource.detect-hardware-capabilities为true,则在Windows和Linux的情况下会自动从硬件确定。在其他情况下,默认情况下,vcores的数量为8。 -1 24
yarn.nodemanager.resource.count-logical-processors-as-cores 用于确定逻辑处理器(例如超线程)是否应计为内核的标志。仅当yarn.nodemanager.resource.cpu-vcores设置为-1且yarn.nodemanager.resource.detect-hardware-capabilities为true时才适用于Linux。 FALSE  
yarn.nodemanager.resource.pcores-vcores-multiplier 乘数来确定如何将物理核心转换为vcores。如果yarn.nodemanager.resource.cpu-vcores设置为-1(表示自动计算vcores)并且yarn.nodemanager.resource.detect-hardware-capabilities设置为true,则使用此值。vcores的数量将计算为CPU数*乘数。 1  
yarn.nodemanager.logaggregation.threadpool-size-max 节点管理器中LogAggregationService的线程池大小。 100  
yarn.nodemanager.resource.percentage-physical-cpu-limit 可以为容器分配的CPU百分比。此设置允许用户限制YARN容器使用的CPU数量。目前仅在使用cgroup的Linux上运行。默认是使用100%的CPU。 100  
yarn.nodemanager.resource.detect-hardware-capabilities 启用节点功能(如内存和CPU)的自动检测。 FALSE  
yarn.nodemanager.webapp.address NM Webapp地址。 ${yarn.nodemanager.hostname}:8042  
yarn.nodemanager.webapp.https.address NM Web应用程序的https地址。 0.0.0.0:8044  
yarn.nodemanager.webapp.spnego-keytab-file 用于NM Web界面的spnego过滤器的Kerberos keytab文件。    
yarn.nodemanager.webapp.spnego-principal 用于NM Web界面的spnego过滤器的Kerberos主体。    
yarn.nodemanager.resource-monitor.interval-ms 监视节点和容器的频率。如果为0或负数,则禁用监视。 3000  
yarn.nodemanager.resource-calculator.class 计算当前资源利用率的类。    
yarn.nodemanager.container-monitor.enabled 启用容器监视器 TRUE  
yarn.nodemanager.container-monitor.interval-ms 监视容器的频率。如果未设置,将使用yarn.nodemanager.resource-monitor.interval-ms的值。如果为0或负数,则禁用容器监视。   3000
yarn.nodemanager.container-monitor.resource-calculator.class 计算容器当前资源利用率的类。如果未设置,将使用yarn.nodemanager.resource-calculator.class的值。    
yarn.nodemanager.health-checker.interval-ms 运行节点运行状况脚本的频率。 600000 135000
yarn.nodemanager.health-checker.script.timeout-ms 脚本超时期限。 1200000 60000
yarn.nodemanager.health-checker.script.path 要运行的运行状况检查脚本。    
yarn.nodemanager.health-checker.script.opts 传递给运行状况检查脚本的参数。    
yarn.nodemanager.disk-health-checker.interval-ms 运行磁盘运行状况检查程序代码的频率。 120000  
yarn.nodemanager.disk-health-checker.min-healthy-disks nodemanager启动新容器的最佳磁盘数量的最小比例。这对应于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。即如果可用的健康local-dirs(或log-dirs)数量较少,则不会在此节点上启动新容器。 0.25  
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 磁盘空间利用率的最大百分比,在此之后磁盘被标记为坏。值的范围为0.0到100.0。如果该值大于或等于100,则nodemanager将检查是否有完整磁盘。这适用于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。 90  
yarn.nodemanager.disk-health-checker.disk-utilization-watermark-low-per-disk-percentage 将坏磁盘标记为良好时使用的磁盘空间阈值百分比较低。值的范围为0.0到100.0。这适用于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。请注意,如果其值大于yarn.nodemanager.disk-health-checker。max-disk-utilization-per-disk-percentage或未设置,将设置为与yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage相同的值。    
yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb 磁盘上必须使用的最小空间。这适用于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。 0  
yarn.nodemanager.linux-container-executor.path Linux容器执行程序的路径。    
yarn.nodemanager.linux-container-executor.resources-handler.class 应该帮助LCE处理资源的类。 org.apache.hadoop.yarn.server.nodemanager.util.DefaultLCEResourcesHandler  
yarn.nodemanager.linux-container-executor.cgroups.hierarchy 用于放置YARN的cgroups层次结构(不能包含逗号)。如果yarn.nodemanager.linux-container-executor.cgroups.mount为false(即,如果已经预先配置了cgroup)并且YARN用户具有对父目录的写访问权限,则将创建该目录。如果该目录已存在,则管理员必须以递归方式向其授予YARN写入权限。仅当LCE资源处理程序设置为CgroupsLCEResourcesHandler时,此属性才适用。 /hadoop-yarn  
yarn.nodemanager.linux-container-executor.cgroups.mount LCE是否应该在未找到的情况下尝试挂载cgroup。仅当LCE资源处理程序设置为CgroupsLCEResourcesHandler时,此属性才适用。 FALSE  
yarn.nodemanager.linux-container-executor.cgroups.mount-path 此属性设置YARN将读取CGroups配置的路径。YARN具有发现系统CGroup装载路径的内置功能,因此仅当YARN的自动装载路径发现不起作用时才使用此属性。在启动NodeManager之前,此属性指定的路径必须存在。如果yarn.nodemanager.linux-container-executor.cgroups.mount设置为true,则YARN将首先尝试在读取它们之前将CGroup安装在指定的路径上。如果yarn.nodemanager.linux-container-executor.cgroups.mount设置为false,则YARN将读取指定路径上的CGroup。如果此属性为空,则YARN会尝试检测CGroups位置。有关更多详细信息,请参阅文档中的NodeManagerCgroups.html    
yarn.nodemanager.linux-container-executor.cgroups.delete-delay-ms 尝试删除linux cgroup之间的延迟ms 20  
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users 这决定了LCE应该在非安全集群上使用的两种模式中的哪一种。如果此值设置为true,则将以yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user中指定的用户启动所有容器。如果此值设置为false,则容器将以提交应用程序的用户身份运行。 TRUE  
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user 如果设置了yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users,则容器将在非安全模式下使用Linux容器执行程序时运行的UNIX用户(此用例使用cgroups)为真。 nobody  
yarn.nodemanager.linux-container-executor.nonsecure-mode.user-pattern Linux-container-executor在非安全模式下使用时允许的UNIX用户名模式(用例是使用cgroups)。默认值取自/ usr / sbin / adduser ^[_.A-Za-z0-9][-@_.A-Za-z0-9]{0,255}?[$]?$  
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage 此标志确定应用程序是应以严格的资源限制运行,还是允许在需要时使用备用资源。例如,打开标志将限制应用程序仅使用其CPU份额,即使该节点具有备用CPU周期。默认值为false,即使用可用资源。请注意,打开此标志可能会降低群集上的作业吞吐量。 FALSE  
yarn.nodemanager.runtime.linux.allowed-runtimes 逗号分隔的使用LinuxContainerExecutor时允许的运行时列表。允许的值是default和docker。 default  
yarn.nodemanager.runtime.linux.docker.capabilities 此配置设置确定在启动时分配给docker容器的功能。虽然从docker的角度来看这些可能不区分大小写,但最好保持这些大写。要在没有任何功能的情况下运行,请将此值设置为“none”或“NONE” CHOWN,DAC_OVERRIDE,FSETID,FOWNER,MKNOD,NET_RAW,SETGID,SETUID,SETFCAP,SETPCAP,NET_BIND_SERVICE,SYS_CHROOT,KILL,AUDIT_WRITE  
yarn.nodemanager.runtime.linux.docker.privileged-containers.allowed 此配置设置确定此群集上是否允许特权docker容器。请特别小心使用。 FALSE  
yarn.nodemanager.runtime.linux.docker.privileged-containers.acl 此配置设置确定允许谁在此群集上运行特权docker容器。请特别小心使用。    
yarn.nodemanager.runtime.linux.docker.allowed-container-networks 使用DockerContainerRuntime启动容器时允许的网络集。 host,none,bridge  
yarn.nodemanager.runtime.linux.docker.default-container-network 在请求中未指定网络时使用DockerContainerRuntime启动容器时使用的网络。该网络必须是(可配置的)允许的容器网络之一。 host  
yarn.nodemanager.runtime.linux.docker.enable-userremapping.allowed 启用docker用户重映射的属性 TRUE  
yarn.nodemanager.runtime.linux.docker.userremapping-uid-threshold 用户重新映射用户的可接受uid的下限 1  
yarn.nodemanager.runtime.linux.docker.userremapping-gid-threshold 用户重新映射用户的可接受gid的下限 1  
yarn.nodemanager.windows-container.memory-limit.enabled 此标志确定是否将为默认容器执行程序启动的容器的Windows作业对象设置内存限制。 FALSE  
yarn.nodemanager.windows-container.cpu-limit.enabled 此标志确定是否将为默认容器执行程序启动的容器的Windows作业对象设置CPU限制。 FALSE  
yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms 在清理容器时,linux容器执行程序应该尝试清理cgroups条目的时间间隔。 1000  
yarn.nodemanager.linux-container-executor.group linux-container-executor应该运行的UNIX组。   hadoop
yarn.nodemanager.log-aggregation.compression-type 用于压缩聚合日志的T文件压缩类型。 none gz
yarn.nodemanager.principal 节点管理器的kerberos主体。    
yarn.nodemanager.aux-services 以逗号分隔的服务列表,其中服务名称应仅包含a-zA-Z0-9_且不能以数字开头   mapreduce_shuffle,spark2_shuffle
yarn.nodemanager.sleep-delay-before-sigkill.ms 将SIGTERM和SIGKILL发送到容器之间要等待的ms数 250  
yarn.nodemanager.process-kill-wait.ms 尝试清理容器时等待进程出现的最长时间 2000  
yarn.nodemanager.resourcemanager.minimum.version nodemanager将连接到的资源管理器的最小允许版本。有效值为NONE(无版本检查),EqualToNM(资源管理器的版本等于或大于NM版本)或版本字符串。 NONE  
yarn.nodemanager.container-diagnostics-maximum-size 包含诊断的最大大小,以便重新启动容器盒。 10000  
yarn.nodemanager.container-retry-minimum-interval-ms 最小容器重启间隔(以毫秒为单位)。 1000  
yarn.client.nodemanager-client-async.thread-pool-max-size NMClientAsync中用于处理容器管理事件的最大线程数 500  
yarn.client.nodemanager-connect.max-wait-ms 等待与NM建立连接的最长时间 180000 60000
yarn.client.nodemanager-connect.retry-interval-ms 每次尝试连接到NM之间的时间间隔 10000  
yarn.nodemanager.resourcemanager.connect.max-wait.ms 等待NM连接到RM的最长时间。未设置时,代理将回退到使用yarn.resourcemanager.connect.max-wait.ms的值。    
yarn.nodemanager.resourcemanager.connect.retry-interval.ms 每个NM尝试连接到RM之间的时间间隔。未设置时,代理将回退到使用yarn.resourcemanager.connect.retry-interval.ms的值。    
yarn.client.max-cached-nodemanagers-proxies 节点管理器的最大缓存代理连接数。如果设置为大于零的值,则启用缓存,NMClient和MRAppMaster将缓存指定数量的节点管理器代理。每个节点管理器最多只能有一个代理。防爆。将其配置为值5将确保客户端最多有5个代理缓存5个不同的节点管理器。如果空闲时间超过系统范围的空闲超时时间,则这些代理的这些连接将超时。请注意,这可能会导致大型群集出现问题,因为许多连接可能会同时延迟并导致大量连接线程。用于身份验证的令牌仅在连接创建时使用。如果收到新令牌,则应关闭先前的连接以使用新令牌。这和(yarn.client.nodemanager-client-async.thread-pool-max-size)是相关的,应该是同步的(不需要它们相等)。如果此属性的值为零,则禁用连接缓存,并且连接将使用零空闲超时来防止大型群集上的连接线程过多。 0  
yarn.nodemanager.recovery.enabled 启动后启用节点管理器以进行恢复 FALSE true
yarn.nodemanager.recovery.dir 启用恢复时节点管理器将在其中存储状态的本地文件系统目录。 ${hadoop.tmp.dir}/yarn-nm-recovery /data/var/log/hadoop-yarn/nodemanager/recovery-state
yarn.nodemanager.recovery.compaction-interval-secs NM状态数据库的完全压缩之间的时间(以秒为单位)。将间隔设置为零会禁用完整的压缩循环。 3600  
yarn.nodemanager.recovery.supervised nodemanager是否在监督下运行。支持恢复并在监督下运行的节点管理器将不会尝试清理容器,因为它会立即重新启动并恢复容器。 FALSE  
yarn.nodemanager.container-executor.os.sched.priority.adjustment 调整容器OS调度优先级。在Linux中,直接传递给nice命令。如果未指定,则启动容器时没有任何明确的OS优先级。    
yarn.nodemanager.container-metrics.enable 标记以启用容器指标 TRUE  
yarn.nodemanager.container-metrics.period-ms 容器度量标准刷新周期(ms)。设置为-1表示完成时刷新。 -1  
yarn.nodemanager.container-metrics.unregister-delay-ms 完成后取消注册容器指标的延迟时间ms。 10000 60000
yarn.nodemanager.container-monitor.process-tree.class 用于计算当前容器资源利用率的类。    
yarn.nodemanager.disk-health-checker.enable 用于启用NodeManager磁盘运行状况检查程序的标志 TRUE  
yarn.nodemanager.log.deletion-threads-count NM日志清理中使用的线程数。禁用日志聚合时使用。 4  
yarn.nodemanager.windows-secure-container-executor.group Windows-container-executor应该运行的Windows组。    
yarn.nodemanager.docker-container-executor.exec-name Docker客户端的名称或路径。 /usr/bin/docker  
yarn.nodemanager.docker-container-executor.image-name 用于DockerContainerExecutor的Docker镜像名称    
yarn.nodemanager.aux-services.mapreduce_shuffle.class   org.apache.hadoop.mapred.ShuffleHandler org.apache.hadoop.mapred.ShuffleHandler
yarn.web-proxy.principal 代理的kerberos主体,如果代理不是作为RM的一部分运行的话。    
yarn.web-proxy.keytab WebAppProxy的Keytab,如果代理未作为RM的一部分运行。    
yarn.web-proxy.address Web代理的地址为HOST:PORT,如果未给出,则代理将作为RM的一部分运行    
yarn.application.classpath 适用于YARN应用程序的CLASSPATH。以逗号分隔的CLASSPATH条目列表。当此值为空时,将使用以下默认的CLARSPATH for YARN应用程序。对于Linux:$ HADOOP_CONF_DIR,$ HADOOP_COMMON_HOME / share / hadoop / common / *,$ HADOOP_COMMON_HOME / share / hadoop / common / lib / *,$ HADOOP_HDFS_HOME / share / hadoop / hdfs / *,$ HADOOP_HDFS_HOME / share / hadoop / hdfs / lib / *,$ HADOOP_YARN_HOME / share / hadoop / yarn / *,$ HADOOP_YARN_HOME / share / hadoop / yarn / lib / *对于Windows:%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/ share / hadoop / common / *,%HADOOP_COMMON_HOME%/ share / hadoop / common / lib / *,%HADOOP_HDFS_HOME%/ share / hadoop / hdfs / *,%HADOOP_HDFS_HOME%/ share / hadoop / hdfs / lib / *,%HADOOP_YARN_HOME%/ share / hadoop / yarn / *,    
yarn.timeline-service.version 指示正在运行的时间轴服务的当前版本。例如,如果“yarn.timeline-service.version”为1.5,并且“yarn.timeline-service.enabled”为true,则表示群集将并且应该调出时间轴服务v.1.5(并且没有其他内容)。在客户端,如果客户端使用相同版本的时间轴服务,则应该成功。如果客户选择使用较小的版本,那么根据版本之间兼容性故事的稳健程度,结果可能会有所不同。 1.0f 1.5
yarn.timeline-service.enabled 在服务器端,它指示是否启用时间线服务。在客户端,用户可以启用它来指示客户是否想要使用时间线服务。如果在客户端启用了安全性,则yarn客户端会尝试获取时间线服务器的委托令牌。 FALSE true
yarn.timeline-service.hostname 时间轴服务Web应用程序的主机名。 0.0.0.0  
yarn.timeline-service.address 这是启动RPC服务器的时间轴服务器的默认地址。 ${yarn.timeline-service.hostname}:10200 bj-rack001-hadoop003:10200
yarn.timeline-service.webapp.address 时间轴服务Web应用程序的http地址。 ${yarn.timeline-service.hostname}:8188 bj-rack001-hadoop003:8188
yarn.timeline-service.webapp.https.address 时间线服务Web应用程序的https地址。 ${yarn.timeline-service.hostname}:8190 bj-rack001-hadoop003:8190
yarn.timeline-service.bind-host 服务器将绑定到的实际地址。如果设置了此可选地址,RPC和webapp服务器将分别绑定到此地址和yarn.timeline-service.address和yarn.timeline-service.webapp.address中指定的端口。这对于通过设置为0.0.0.0使服务侦听所有接口非常有用。   0.0.0.0
yarn.timeline-service.generic-application-history.max-applications 定义可以使用REST API或应用程序历史协议获取的最大应用程序数,并显示在时间轴服务器web ui中。 10000  
yarn.timeline-service.store-class 存储时间轴商店的类名。 org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore org.apache.hadoop.yarn.server.timeline.EntityGroupFSTimelineStore
yarn.timeline-service.ttl-enable 启用时间轴存储数据的年龄。 TRUE  
yarn.timeline-service.ttl-ms 生存时间线的时间以毫秒为单位存储数据。 604800000 2678400000
yarn.timeline-service.leveldb-timeline-store.path 存储leveldb时间线存储的文件名。 ${hadoop.tmp.dir}/yarn/timeline /hadoop/yarn/timeline
yarn.timeline-service.leveldb-timeline-store.ttl-interval-ms leveldb时间轴存储的删除周期之间等待的时间长度,以毫秒为单位。 300000  
yarn.timeline-service.leveldb-timeline-store.read-cache-size leveldb时间轴存储的未压缩块的读缓存大小(以字节为单位)。 104857600 104857600
yarn.timeline-service.leveldb-timeline-store.start-time-read-cache-size 最近读取的实体开始时间的高速缓存大小,用于leveldb时间线存储在实体数量中。 10000  
yarn.timeline-service.leveldb-timeline-store.start-time-write-cache-size 最近编写的leveldb时间轴实体开始时间的缓存大小以实体数量存储。 10000  
yarn.timeline-service.handler-thread-count 处理程序线程计数为客户端RPC请求提供服务。 10  
yarn.timeline-service.http-authentication.type 定义用于时间线服务器HTTP端点的身份验证。支持的值是:simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# simple  
yarn.timeline-service.http-authentication.simple.anonymous.allowed 指示使用“简单”身份验证时,时间线服务器是否允许匿名请求。 TRUE  
yarn.timeline-service.principal 时间线服务器的Kerberos主体。    
yarn.timeline-service.keytab 时间线服务器的Kerberos密钥表。 /etc/krb5.keytab  
yarn.timeline-service.ui-names 以逗号分隔的将要托管的UI列表    
yarn.timeline-service.client.max-retries 时间轴服务客户端的默认最大重试次数和值-1表示没有限制。 30  
yarn.timeline-service.client.best-effort 客户关于时间线操作是否非致命的政策。如果获取委托令牌的失败被认为是应用程序失败(option = false),或者客户端是否应该尝试在没有它的情况下继续发布信息(option = true) FALSE  
yarn.timeline-service.client.retry-interval-ms 时间线服务客户端的默认重试时间间隔。 1000  
yarn.timeline-service.client.drain-entities.timeout.ms 时间线v2客户端在停止后等待耗尽剩余实体的时间段。 2000  
yarn.timeline-service.recovery.enabled 启动后启用时间轴服务器恢复状态。如果为true,则必须指定yarn.timeline-service.state-store-class。 FALSE true
yarn.timeline-service.state-store-class 存储时间线状态存储的类名。 org.apache.hadoop.yarn.server.timeline.recovery.LeveldbTimelineStateStore org.apache.hadoop.yarn.server.timeline.recovery.LeveldbTimelineStateStore
yarn.timeline-service.leveldb-state-store.path 存储leveldb状态存储的文件名。 ${hadoop.tmp.dir}/yarn/timeline /hadoop/yarn/timeline
yarn.timeline-service.entity-group-fs-store.cache-store-class 缓存存储时间线服务器v1.5正在使用。 org.apache.hadoop.yarn.server.timeline.MemoryTimelineStore  
yarn.timeline-service.entity-group-fs-store.active-dir 用于存储活动应用程序的时间轴数据的HDFS路径 /tmp/entity-file-history/active /ats/active/
yarn.timeline-service.entity-group-fs-store.done-dir 用于存储完成的应用程序的时间线数据的HDFS路径 /tmp/entity-file-history/done/ /ats/done/
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes 可以将时间轴实体读取请求转换为时间轴实体组ID列表的插件,以逗号分隔。   org.apache.tez.dag.history.logging.ats.TimelineCachePluginImpl
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classpath yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes中定义的所有插件的类路径。    <property>
      <name>yarn.timeline-service.entity-group-fs-store.group-id-plugin-classpath</name>
      <value></value>
    </property>
yarn.timeline-service.entity-group-fs-store.summary-store ATS v1.5的摘要存储 org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore org.apache.hadoop.yarn.server.timeline.RollingLevelDBTimelineStore
yarn.timeline-service.entity-group-fs-store.scan-interval-seconds ATS v1.5实体组文件系统存储读取器的扫描间隔。此值控制读取器扫描HDFS活动目录以查找应用程序状态的频率。 60 15
yarn.timeline-service.entity-group-fs-store.cleaner-interval-seconds ATS v1.5实体组文件系统存储清理器的扫描间隔。此值控制读取器扫描HDFS完成目录以查找过时应用程序数据的频率。 3600  
yarn.timeline-service.entity-group-fs-store.retain-seconds ATS v1.5实体组文件系统存储将把应用程序的数据保存在done目录中多长时间。 604800  
yarn.timeline-service.entity-group-fs-store.leveldb-cache-read-cache-size 读取ATS v1.5插件存储中leveldb缓存存储的缓存大小。 10485760  
yarn.timeline-service.entity-group-fs-store.app-cache-size ATS v1.5阅读器的阅读器缓存大小。此值控制ATS v1.5服务器应缓存的实体组数。如果活动读取实体组的数量大于高速缓存项目的数量,则某些读取可能返回空数据。该值必须大于0。 10  
yarn.timeline-service.client.fd-flush-interval-secs ATS v1.5编写器的刷新间隔。此值控制编写器为实体/域刷新HDFS FSStream的频率。 10 5
yarn.timeline-service.client.fd-clean-interval-secs ATS v1.5编写器的扫描间隔。此值控制编写器扫描实体/域的HDFS FSStream的频率。如果FSStream长时间过时,则此FSStream将关闭。 60  
yarn.timeline-service.client.fd-retain-secs ATS v1.5编写器将保持FSStream打开多长时间。如果此fsstream在此配置时间内没有写入任何内容,则它将关闭。 300  
yarn.timeline-service.writer.class 存储实现ATS v2将用于TimelineWriter服务。 org.apache.hadoop.yarn.server.timelineservice.storage.HBaseTimelineWriterImpl  
yarn.timeline-service.reader.class 存储实现ATS v2将用于TimelineReader服务。 org.apache.hadoop.yarn.server.timelineservice.storage.HBaseTimelineReaderImpl  
yarn.timeline-service.client.internal-timers-ttl-secs 内部计时器任务在编写器中可以存活多长时间。如果此配置时间没有写入操作,则内??部计时器任务将关闭。 420  
yarn.timeline-service.writer.flush-interval-seconds 控制时间轴收集器刷新时间轴编写器的频率的设置。 60  
yarn.timeline-service.app-collector.linger-period.ms 在应用程序主容器完成之后,应用程序收集器将在NM中处于活动状态的时间段。 1000  
yarn.timeline-service.timeline-client.number-of-async-entities-to-merge 时间线V2客户端尝试合并这些大量的异步实体(如果可用),然后调用REST ATS V2 API进行提交。 10  
yarn.timeline-service.hbase.coprocessor.app-final-value-retention-milliseconds 在合并到流量总和之前,控制已完成应用程序的度量标准的最终值保留多长时间的设置。在应用程序完成后的这段时间内,无法以增加的存储成本识别和丢弃到达的无序值。 259200000  
yarn.timeline-service.hbase.coprocessor.jar.hdfs.location flowrun协处理器jar的默认hdfs位置。 /hbase/coprocessor/hadoop-yarn-server-timelineservice.jar  
yarn.timeline-service.hbase-schema.prefix 此参数的值为hbase存储架构中作为时间轴服务一部分的所有表设置前缀。它可以设置为“dev。” 或“分期”。如果它用于开发或暂存实例。这样,生产表中的数据保留在一组以“prod。”为前缀的单独表中。 prod.  
yarn.timeline-service.hbase.configuration.file 用于连接到时间轴服务hbase集群的hbase-site.xml配置文件的可选URL。如果为空或未指定,则将从类路径加载HBase配置。指定时,指定配置文件中的值将覆盖类路径中存在的值。    
yarn.sharedcache.enabled 是否启用了共享缓存 FALSE  
yarn.sharedcache.root-dir 共享缓存的根目录 /sharedcache  
yarn.sharedcache.nested-level 获取校验和目录之前嵌套目录的级别。它必须是非负面的。 3  
yarn.sharedcache.store.class 用于SCM存储的实现 org.apache.hadoop.yarn.server.sharedcachemanager.store.InMemorySCMStore  
yarn.sharedcache.app-checker.class 用于SCM app-checker的实现 org.apache.hadoop.yarn.server.sharedcachemanager.RemoteAppChecker  
yarn.sharedcache.store.in-memory.staleness-period-mins 如果自上次引用以来的时间超过过期时间,则内存存储中的资源被视为过时。该值以分钟为单位指定。 10080  
yarn.sharedcache.store.in-memory.initial-delay-mins 内存存储器运行第一次检查以删除死的初始应用程序之前的初始延迟。以分钟为单位指定。 10  
yarn.sharedcache.store.in-memory.check-period-mins 内存存储检查以删除死初始应用程序的频率。以分钟为单位指定。 720  
yarn.sharedcache.admin.address SCM(共享缓存管理器)中管理界面的地址 0.0.0.0:8047  
yarn.sharedcache.admin.thread-count 用于处理SCM管理界面的线程数(默认为1) 1  
yarn.sharedcache.webapp.address SCM中的Web应用程序的地址(共享缓存管理器) 0.0.0.0:8788  
yarn.sharedcache.cleaner.period-mins 清洁任务运行的频率。以分钟为单位指定。 1440  
yarn.sharedcache.cleaner.initial-delay-mins 计划第一个清洁任务之前的初始延迟。以分钟为单位指定。 10  
yarn.sharedcache.cleaner.resource-sleep-ms 处理每个共享缓存资源之间的休眠时间。以毫秒为单位指定。 0  
yarn.sharedcache.uploader.server.address SCM中的节点管理器接口的地址(共享缓存管理器) 0.0.0.0:8046  
yarn.sharedcache.uploader.server.thread-count 用于处理来自节点管理器的共享缓存管理器请求的线程数(默认情况下为50) 50  
yarn.sharedcache.client-server.address SCM中的客户端接口的地址(共享缓存管理器) 0.0.0.0:8045  
yarn.sharedcache.client-server.thread-count 用于处理来自客户端的共享缓存管理器请求的线程数(默认情况下为50) 50  
yarn.sharedcache.checksum.algo.impl 用于计算文件校验和的算法(默认情况下为SHA-256) org.apache.hadoop.yarn.sharedcache.ChecksumSHA256Impl  
yarn.sharedcache.nm.uploader.replication.factor 共享高速缓存的节点管理器上载器的复制因子(默认为10) 10  
yarn.sharedcache.nm.uploader.thread-count 用于从节点管理器实例上载文件的线程数(默认为20) 20  
security.applicationhistory.protocol.acl 用于时间轴服务器的ACL协议。    
yarn.is.minicluster 对于MiniYARNCluster单元测试,设置为true FALSE  
yarn.minicluster.control-resource-monitoring 设置MiniYARNCluster单元测试以控制资源监视 FALSE  
yarn.minicluster.fixed.ports 设置为false以允许MiniYARNCluster在没有端口冲突的情况下运行测试。 FALSE  
yarn.minicluster.use-rpc 设置为false以允许MiniYARNCluster中的NodeManager使用RPC与RM通信。 FALSE  
yarn.minicluster.yarn.nodemanager.resource.memory-mb 作为yarn.nodemanager.resource.memory-mb属性,但是对于MiniYARNCluster中的NodeManager。 4096  
yarn.node-labels.enabled 启用节点标签功能 FALSE  
yarn.node-labels.fs-store.retry-policy-spec 用于FileSystem节点标签存储的重试策略。策略由N对休眠时间(以毫秒为单位)和重试次数“s1,n1,s2,n2,...”指定。 2000, 500  
yarn.node-labels.fs-store.root-dir NodeLabelManager的URI。默认值为本地文件系统中的/ tmp / hadoop-yarn - $ {user} / node-labels /。   /system/yarn/node-labels
yarn.node-labels.configuration-type 设置节点标签的配置类型。管理员可以指定“集中式”,“委托集中式”或“分布式”。 centralized  
yarn.nodemanager.node-labels.provider 当“yarn.node-labels.configuration-type”在RM中配置为“distributed”时,管理员可以通过配置此参数在NM中为节点标签配置提供程序。管理员可以配置“config”,“script”或提供程序的类名。配置的类需要扩展org.apache.hadoop.yarn.server.nodemanager.nodelabels.NodeLabelsProvider。如果配置了“config”,则配置“ConfigurationNodeLabelsProvider”并且如果配置了“script”,则将使用“ScriptNodeLabelsProvider”。    
yarn.nodemanager.node-labels.provider.fetch-interval-ms 当“yarn.nodemanager.node-labels.provider”配置为“config”,“Script”或配置的类扩展AbstractNodeLabelsProvider时,将定期从节点标签提供程序检索节点标签。此配置用于定义间隔时段。如果配置为-1,则仅在初始化期间从提供程序检索节点标签。默认为10分钟。 600000  
yarn.nodemanager.node-labels.resync-interval-ms NM将其节点标签与RM同步的时间间隔。NM将每隔x个间隔发送其加载的标签,并将心跳发送到RM。 120000  
yarn.nodemanager.node-labels.provider.configured-node-partition 当“yarn.nodemanager.node-labels.provider”配置为“config”时,ConfigurationNodeLabelsProvider将从此参数中获取分区标签。    
yarn.nodemanager.node-labels.provider.fetch-timeout-ms 当“yarn.nodemanager.node-labels.provider”配置为“Script”时,此配置提供超时时间,之后它将中断查询Node标签的脚本。默认为20分钟。 1200000  
yarn.resourcemanager.node-labels.provider 当节点标签“yarn.node-labels.configuration-type”的类型为“委托集中”时,管理员应配置用于通过ResourceManager获取节点标签的类。配置的类需要扩展org.apache.hadoop.yarn.server.resourcemanager.nodelabels。RMNodeLabelsMappingProvider。    
yarn.resourcemanager.node-labels.provider.fetch-interval-ms 当“yarn.node-labels.configuration-type”配置为“委托集中”时,则从节点标签提供程序中定期检索节点标签。此配置用于定义间隔。如果配置为-1,则在注册后,每个节点仅从提供程序检索一次节点标签。默认为30分钟。 1800000  
yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs YARN节点正常退役的超时(以秒为单位)。这是在将DECOMMISSIONING节点转换为DECOMMISSIONED之前等待运行容器和应用程序的最长时间。 3600  
yarn.resourcemanager.decommissioning-nodes-watcher.poll-interval-secs DecommissioningNodesWatcher内部轮询的超时秒数。 20  
yarn.nodemanager.node-labels.provider.script.path 要运行的节点标签脚本。脚本输出以“NODE_PARTITION:”开头的行将被视为节点标签分区。如果多行具有此模式,则将考虑最后一行    
yarn.nodemanager.node-labels.provider.script.opts 传递给Node标签脚本的参数。    
yarn.federation.enabled 标记以指示RM是否参与联邦。 FALSE  
yarn.federation.machine-list 要由FederationSubCluster解析程序加载的计算机列表文件    
yarn.federation.subcluster-resolver.class SubClusterResolver的类名 org.apache.hadoop.yarn.server.federation.resolver.DefaultSubClusterResolverImpl  
yarn.federation.state-store.class 存储联合状态存储的类名 org.apache.hadoop.yarn.server.federation.store.impl.MemoryFederationStateStore  
yarn.federation.cache-ttl.secs 以秒为单位的时间,此时联合状态存储本地缓存将定期刷新 300  
yarn.federation.registry.base-dir 联合的注册表基目录。 yarnfederation/  
yarn.registry.class 要使用的注册表实现。 org.apache.hadoop.registry.client.impl.FSRegistryOperationsService  
yarn.client.application-client-protocol.poll-interval-ms yarn客户端库用于轮询应用程序客户端协议的异步API的完成状态的时间间隔。 200  
yarn.client.application-client-protocol.poll-timeout-ms YARN客户端等待预期状态更改发生的持续时间(以毫秒为单位)。-1表示无限制的等待时间。 -1  
yarn.nodemanager.container-monitor.procfs-tree.smaps-based-rss.enabled 通过/ proc / pid / stat计算的进程的RSS使用不是很准确,因为它包括进程的共享页面。/ proc / pid / smaps提供了有用的信息,如Private_Dirty,Private_Clean,Shared_Dirty,Shared_Clean,可用于计算更准确的RSS。启用此标志后,RSS将计算为Min(Shared_Dirty,Pss)+ Private_Clean + Private_Dirty。它排除了RSS计算中的只读共享映射。 FALSE  
yarn.log.server.url 日志聚合服务器的URL   http://bj-rack001-hadoop003:19888/jobhistory/logs
yarn.log.server.web-service.url 日志聚合服务器Web服务的URL   http://bj-rack001-hadoop003:8188/ws/v1/applicationhistory
yarn.tracking.url.generator RM应用程序跟踪URL    
yarn.authorization-provider 用于YarnAuthorizationProvider的类    
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds 定义NM唤醒上载日志文件的频率。默认值为-1。默认情况下,应用程序完成后将上载日志。通过设置此配置,可以在应用程序运行时定期上载日志。可设置的最小滚动间隔秒数为3600。 -1 3600
yarn.intermediate-data-encryption.enable 在YARN级别启用/禁用中间数据加密。目前,只有FileSystemRMStateStore才能使用它来设置正确的文件系统安全属性。 FALSE  
yarn.nodemanager.webapp.cross-origin.enabled 标记以在NM中启用跨源(CORS)支持。此标志需要将CORS过滤器初始化程序添加到core-site.xml中的过滤器初始化程序列表中。 FALSE  
yarn.cluster.max-application-priority 定义群集中的最大应用程序优先级。如果提交的应用程序的优先级高于此值,则会将其重置为此最大值。 0  
yarn.nodemanager.log-aggregation.policy.class 默认日志聚合策略类。应用程序可以通过LogAggregationContext覆盖它。此配置可以提供某些群集端默认行为,以便在应用程序未通过LogAggregationContext指定任何策略时,群集管理员可以全局调整策略。 org.apache.hadoop.yarn.server.nodemanager.containermanager.logaggregation.AllContainerLogAggregationPolicy  
yarn.nodemanager.log-aggregation.policy.parameters 日志聚合策略的缺省参数。应用程序可以通过LogAggregationContext覆盖它。此配置可以提供某些群集端默认行为,以便在应用程序未通过LogAggregationContext指定任何策略时,群集管理员可以全局调整策略。    
yarn.nodemanager.amrmproxy.enabled 在节点管理器中启用/禁用AMRMProxyService。此服务用于拦截从应用程序主服务器到资源管理器的调用。 FALSE  
yarn.nodemanager.amrmproxy.address AMRMProxyService侦听器的地址。 0.0.0.0:8049  
yarn.nodemanager.amrmproxy.client.thread-count 用于处理AMRMProxyService请求的线程数。 25  
yarn.nodemanager.amrmproxy.interceptor-class.pipeline 以逗号分隔的实现RequestInterceptor接口的类名列表。AMRMProxyService使用它来为应用程序创建请求处理管道。 org.apache.hadoop.yarn.server.nodemanager.amrmproxy.DefaultRequestInterceptor  
yarn.nodemanager.amrmproxy.ha.enable 是否启用了AMRMProxy HA。 FALSE  
yarn.nodemanager.distributed-scheduling.enabled 设置控制是否启用分布式调度。 FALSE  
yarn.resourcemanager.opportunistic-container-allocation.enabled 设置控制是否启用机会性容器分配。 FALSE  
yarn.resourcemanager.opportunistic-container-allocation.nodes-used 在为容器分配期间调度容器时,Opportunistic Container Allocator要使用的节点数。 10  
yarn.resourcemanager.nm-container-queuing.sorting-nodes-interval-ms 计算负载最小的NM的频率。 1000  
yarn.resourcemanager.nm-container-queuing.load-comparator 用于确定分布式调度的节点负载的比较器。 QUEUE_LENGTH  
yarn.resourcemanager.nm-container-queuing.queue-limit-stdev 用于计算队列限制阈值的标准偏差值。 1.0f  
yarn.resourcemanager.nm-container-queuing.min-queue-length NodeManager中容器队列的最小长度。 5  
yarn.resourcemanager.nm-container-queuing.max-queue-length NodeManager上容器队列的最大长度。 15  
yarn.resourcemanager.nm-container-queuing.min-queue-wait-time-ms NodeManager上容器的最小队列等待时间。 10  
yarn.resourcemanager.nm-container-queuing.max-queue-wait-time-ms NodeManager上容器队列的最大队列等待时间。 100  
yarn.nodemanager.opportunistic-containers-use-pause-for-preemption 在NodeManager的容器队列中使用容器暂停作为抢占的抢占策略。 FALSE  
yarn.nodemanager.container.stderr.pattern 错误文件名模式,用于标识容器的Log目录中包含容器错误日志的文件。由于错误文件重定向由客户端/ AM完成,因此yarn不会知道错误文件名。当容器执行返回非零值时,YARN使用此模式标识错误文件并将错误日志作为诊断结尾。文件名模式区分大小写,应与FileSystem.globStatus(Path)api的规范相匹配。如果多个文件名与模式匹配,则将选择与模式匹配的第一个文件。 {*stderr*,*STDERR*}  
yarn.nodemanager.container.stderr.tail.bytes 需要加尾的容器错误文件的大小,以字节为单位。 4096  
yarn.node-labels.fs-store.impl.class 选择节点标签存储的不同实现 org.apache.hadoop.yarn.nodelabels.FileSystemNodeLabelsStore  
yarn.resourcemanager.webapp.rest-csrf.enabled 为RM Web应用程序启用CSRF筛选器 FALSE  
yarn.resourcemanager.webapp.rest-csrf.custom-header 可选参数,指示用于CSRF保护的自定义标头名称。 X-XSRF-Header  
yarn.resourcemanager.webapp.rest-csrf.methods-to-ignore 可选参数,指示不需要CSRF保护的HTTP方法列表 GET,OPTIONS,HEAD  
yarn.nodemanager.webapp.rest-csrf.enabled 为NM Web应用程序启用CSRF筛选器 FALSE  
yarn.nodemanager.webapp.rest-csrf.custom-header 可选参数,指示用于CSRF保护的自定义标头名称。 X-XSRF-Header  
yarn.nodemanager.webapp.rest-csrf.methods-to-ignore 可选参数,指示不需要CSRF保护的HTTP方法列表 GET,OPTIONS,HEAD  
yarn.nodemanager.disk-validator 磁盘验证程序的名称。 basic  
yarn.timeline-service.webapp.rest-csrf.enabled 为时间轴服务Web应用程序启用CSRF筛选器 FALSE  
yarn.timeline-service.webapp.rest-csrf.custom-header 可选参数,指示用于CSRF保护的自定义标头名称。 X-XSRF-Header  
yarn.timeline-service.webapp.rest-csrf.methods-to-ignore 可选参数,指示不需要CSRF保护的HTTP方法列表 GET,OPTIONS,HEAD  
yarn.webapp.xfs-filter.enabled 为YARN启用XFS筛选器 TRUE  
yarn.resourcemanager.webapp.xfs-filter.xframe-options 指定xframe选项值的属性。 SAMEORIGIN  
yarn.nodemanager.webapp.xfs-filter.xframe-options 指定xframe选项值的属性。 SAMEORIGIN  
yarn.timeline-service.webapp.xfs-filter.xframe-options 指定xframe选项值的属性。 SAMEORIGIN  
yarn.resourcemanager.node-removal-untracked.timeout-ms 在声明未跟踪之后,最少的时间(毫秒),非活动(退役或关闭)节点可以保留在资源管理器的节点列表中。当且仅当RM上的包含和排除nodemanager列表不存在时,节点才会被标记为未跟踪。每个超时间隔或每10分钟检查所有非活动节点两次,以较小者为准,并进行适当标记。调用refreshNodes命令(正常或其他)时也会这样做。 60000  
yarn.resourcemanager.application-timeouts.monitor.interval-ms RMAppLifetimeMonitor服务使用此值作为监视间隔 3000  
yarn.app.attempt.diagnostics.limit.kc 定义应用程序尝试的诊断消息的限制,以千字符为单位(字符数* 1024)。使用ZooKeeper存储应用程序状态行为时,限制诊断消息的大小以防止YARN压倒ZooKeeper非常重要。如果将yarn.resourcemanager.state-store.max-completed-applications设置为较大的数字,则可能需要减小此属性的值以限制存储的总数据。 64  
yarn.timeline-service.http-cross-origin.enabled 用于在时间轴服务v2中为时间轴服务v1.x或时间线读取器启用跨源(CORS)支持的标志。对于时间轴服务v2,还要将org.apache.hadoop.security.HttpCrossOriginFilterInitializer添加到core-site.xml中的配置hadoop.http.filter.initializers。 FALSE  
yarn.scheduler.queue-placement-rules 以逗号分隔的PlacementRules列表,用于确定某些用户提交的应用程序如何映射到某些队列。默认为user-group,对应于UserGroupMappingPlacementRule。 user-group  
yarn.timeline-service.entity-group-fs-store.with-user-dir TimelineClient 1.5配置是否在用户目录中存储活动应用程序的时间轴数据,即$ {yarn.timeline-service.entity-group-fs-store.active-dir} / $ {user.name} FALSE  
yarn.router.clientrm.interceptor-class.pipeline 以逗号分隔的实现RequestInterceptor接口的类名列表。这由RouterClientRMService用于为用户创建请求处理管道。 org.apache.hadoop.yarn.server.router.clientrm.DefaultClientRequestInterceptor  
yarn.router.pipeline.cache-max-size Router ClientRM服务和RMAdmin服务的LRU缓存大小。 25  
yarn.router.rmadmin.interceptor-class.pipeline 以逗号分隔的实现RequestInterceptor接口的类名列表。这由RouterRMAdminService用于为用户创建请求处理管道。 org.apache.hadoop.yarn.server.router.rmadmin.DefaultRMAdminRequestInterceptor  
yarn.router.bind-host 服务器将绑定到的实际地址。如果设置了此可选地址,RPC和webapp服务器将分别绑定到此地址和yarn.router.address和yarn.router.webapp.address中指定的端口。这对于使路由器通过设置为0.0.0.0来监听所有接口非常有用。    
yarn.router.webapp.interceptor-class.pipeline 以逗号分隔的实现RequestInterceptor接口的类名列表。这由RouterWebServices用于为用户创建请求处理管道。 org.apache.hadoop.yarn.server.router.webapp.DefaultRequestInterceptorREST  
yarn.router.webapp.address Router Web应用程序的http地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 0.0.0.0:8089  
yarn.router.webapp.https.address Router Web应用程序的https地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 0.0.0.0:8091  
yarn.resourcemanager.display.per-user-apps 标记以允许将每个用户的应用程序显示为管理员配置。 FALSE  
yarn.scheduler.configuration.store.class 用于调度程序配置的配置存储的类型。默认为“file”,它使用基于文件的capacity-scheduler.xml来检索和更改调度程序配置。要启用基于API的调度程序配置,请使用“内存”(在内存中,在重新启动时不存在持久性),“leveldb”(基于leveldb的存储)或“zk”(基于zookeeper的存储)。基于API的配置仅在使用支持可变配置的调度程序时才有用。目前只有容量调度程序支持此功能。 file  
yarn.scheduler.configuration.mutation.acl-policy.class 如果使用可变配置提供程序,则用于配置变异ACL策略的类。控制是否允许变异请求。DefaultConfigurationMutationACLPolicy检查请求者是否为YARN管理员。 org.apache.hadoop.yarn.server.resourcemanager.scheduler.DefaultConfigurationMutationACLPolicy  
yarn.scheduler.configuration.leveldb-store.path 当yarn.scheduler.configuration.store.class配置为“leveldb”时,配置存储的LevelDB实现的存储路径。 ${hadoop.tmp.dir}/yarn/system/confstore  
yarn.scheduler.configuration.leveldb-store.compaction-interval-secs 当yarn.scheduler.configuration.store.class配置为“leveldb”时,LevelDB配置的压缩间隔以秒为单位。默认是一天。 86400  
yarn.scheduler.configuration.store.max-logs 当yarn.scheduler.configuration.store.class配置为“leveldb”或“zk”时,配置存储中保留的配置更改日志条目的最大数量。两者的默认值均为1000。 1000  
yarn.scheduler.configuration.zk-store.parent-path 使用基于zookeeper的配置存储时,配置存储的ZK根节点路径。 /confstore  

以上是关于Hadoop2.7.7 API: yarn-site.xml 解析的主要内容,如果未能解决你的问题,请参考以下文章

centos7安装hadoop2.7.7

Hadoop2.7.7 centos7 完全分布式 配置与问题随记

Linux伪分布式安装Hadoop2.7.7

centos7 hadoop2.7.7 分布式环境搭建

CentOS7上Hadoop2.7.7集群部署hive3+Tez0.9.1

CentOS7上Hadoop2.7.7集群部署hive3+Tez0.9.1