Hadoop2.7.7 API: yarn-site.xml 解析
Posted 大墨垂杨
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop2.7.7 API: yarn-site.xml 解析相关的知识,希望对你有一定的参考价值。
转自:https://blog.csdn.net/zhanglong_4444/article/details/99471770
name | description | value | |
hadoop.registry.rm.enabled | 是否在YARN资源管理器中启用了注册表? 如果属实,那么YARN RM将根据需要。 创建用户和系统路径,并清除 服务记录集装箱,应用程序尝试 和应用程序完成。 如果错误,路径必须通过其他方式创建, 并且不会自动清理服务记录 |
TRUE | |
hadoop.registry.zk.quorum | 配置 zk | bj-rack001-hadoop002:2181,bj-rack001-hadoop004:2181,bj-rack001-hadoop003:2181 | |
yarn.ipc.client.factory.class | 工厂创建客户端IPC类。 | ||
yarn.ipc.server.factory.class | 工厂创建服务器IPC类。 | ||
yarn.ipc.record.factory.class | 工厂创建可序列化的记录。 | ||
yarn.ipc.rpc.class | RPC类实现 | org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC | |
yarn.resourcemanager.hostname | RM的主机名。 | 0.0.0.0 | bj-rack001-hadoop003 |
yarn.resourcemanager.address | RM中应用程序管理器界面的地址。 | ${yarn.resourcemanager.hostname}:8032 | bj-rack001-hadoop003:8050 |
yarn.resourcemanager.bind-host | 服务器将绑定到的实际地址。如果设置了此可选地址,则RPC和webapp服务器将分别绑定到此地址和yarn.resourcemanager.address和yarn.resourcemanager.webapp.address中指定的端口。这对于通过设置为0.0.0.0使RM监听所有接口非常有用。 | 0.0.0.0 | |
yarn.resourcemanager.auto-update.containers | 如果设置为true,则所有容器更新将自动发送到下一个心跳中的NM | FALSE | |
yarn.resourcemanager.client.thread-count | 用于处理应用程序管理器请求的线程数。 | 50 | |
yarn.resourcemanager.amlauncher.thread-count | 用于启动/清理AM的线程数。 | 50 | |
yarn.resourcemanager.nodemanager-connect-retries | 重试与NM连接的时间。 | 10 | |
yarn.dispatcher.drain-events.timeout | YARN调度程序尝试排除事件时超时(以毫秒为单位)。通常,这在服务停止时发生。例如,RM在停止时消耗ATS事件调度员。 | 300000 | |
yarn.am.liveness-monitor.expiry-interval-ms | 应用程序主报告的到期时间间隔。 | 600000 | |
yarn.resourcemanager.principal | 资源管理器的Kerberos主体。 | ||
yarn.resourcemanager.scheduler.address | 调度程序接口的地址。 | ${yarn.resourcemanager.hostname}:8030 | bj-rack001-hadoop003:8030 |
yarn.resourcemanager.scheduler.client.thread-count | 处理调度程序接口的线程数。 | 50 | |
yarn.resourcemanager.application-master-service.processors | 逗号分隔的ApplicationMasterServiceProcessor实现的类名。处理器将按指定的顺序应用。 | ||
yarn.http.policy | 这会为YARN守护程序配置HTTP端点。支持以下值: - HTTP_ONLY:仅在http上提供服务 - HTTPS_ONLY:仅在https上提供服务 | HTTP_ONLY | |
yarn.resourcemanager.webapp.address | RM Web应用程序的http地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 | ${yarn.resourcemanager.hostname}:8088 | bj-rack001-hadoop003:8088 |
yarn.resourcemanager.webapp.https.address | RM Web应用程序的https地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 | ${yarn.resourcemanager.hostname}:8090 | bj-rack001-hadoop003:8090 |
yarn.resourcemanager.webapp.spnego-keytab-file | 用于RM Web界面的spnego过滤器的Kerberos keytab文件。 | ||
yarn.resourcemanager.webapp.spnego-principal | 用于RM Web界面的spnego过滤器的Kerberos主体。 | ||
yarn.resourcemanager.webapp.ui-actions.enabled | 在RM Application视图中添加按钮以终止应用程序。 | TRUE | |
yarn.webapp.ui2.enable | 启用RM web ui2应用程序。 | FALSE | |
yarn.webapp.ui2.war-file-path | 如果需要,明确提供ui2的WAR文件路径。 | ||
yarn.resourcemanager.resource-tracker.address | ${yarn.resourcemanager.hostname}:8031 | bj-rack001-hadoop003:8025 | |
yarn.acl.enable | 是否启用了acls。 | FALSE | |
yarn.acl.reservation-enable | 是否启用了预订服务。 | FALSE | |
yarn.admin.acl | 谁可以成为YARN集群管理员的ACL。 | * | activity_analyzer,yarn |
yarn.resourcemanager.admin.address | RM管理界面的地址。 | ${yarn.resourcemanager.hostname}:8033 | bj-rack001-hadoop003:8141 |
yarn.resourcemanager.admin.client.thread-count | 用于处理RM管理界面的线程数。 | 1 | |
yarn.resourcemanager.connect.max-wait.ms | 等待与ResourceManager建立连接的最长时间。 | 900000 | -1 |
yarn.resourcemanager.connect.retry-interval.ms | 多久尝试连接一次ResourceManager。 | 30000 | 15000 |
yarn.resourcemanager.am.max-attempts | 最大应用程序尝试次数。它是所有应用程序主人的全局设置。每个应用程序主机都可以通过API指定其各自的最大应用程序尝试次数,但是单个数字不能超过全局上限。如果是,资源管理器将覆盖它。默认数量设置为2,以允许至少一次重试AM。 | 2 | |
yarn.resourcemanager.container.liveness-monitor.interval-ms | 检查容器是否还活着的频率。 | 600000 | |
yarn.resourcemanager.keytab | 资源管理器的keytab。 | /etc/krb5.keytab | |
yarn.resourcemanager.webapp.delegation-token-auth-filter.enabled | 标记以启用使用RM身份验证筛选器覆盖默认kerberos身份验证筛选器以允许使用委派令牌进行身份验证(如果缺少令牌,则回退到kerberos)。仅适用于http身份验证类型为kerberos的情况。 | TRUE | false |
yarn.resourcemanager.webapp.cross-origin.enabled | 标记以在RM中启用跨源(CORS)支持。此标志需要将CORS过滤器初始化程序添加到core-site.xml中的过滤器初始化程序列表中。 | FALSE | |
yarn.nm.liveness-monitor.expiry-interval-ms | 等待节点管理器被认为已经死亡的时间。 | 600000 | |
yarn.resourcemanager.nodes.include-path | 包含要包含的节点的文件路径。 | ||
yarn.resourcemanager.nodes.exclude-path | 包含要排除的节点的文件路径。 | /etc/hadoop/conf/yarn.exclude | |
yarn.resourcemanager.node-ip-cache.expiry-interval-secs | 节点IP缓存的到期时间间隔。-1禁用缓存 | -1 | |
yarn.resourcemanager.resource-tracker.client.thread-count | 处理资源跟踪器调用的线程数。 | 50 | |
yarn.resourcemanager.scheduler.class | 用作资源调度程序的类。 | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler |
yarn.scheduler.minimum-allocation-mb | RM中每个容器请求的最小分配(MB)。低于此值的内存请求将设置为此属性的值。此外,资源管理器将关闭配置为具有比此值少的内存的节点管理器。 | 1024 | |
yarn.scheduler.maximum-allocation-mb | RM中每个容器请求的最大分配,以MB为单位。高于此的内存请求将抛出InvalidResourceRequestException。 | 8192 | 30720 |
yarn.scheduler.minimum-allocation-vcores | 就虚拟CPU核心而言,RM上每个容器请求的最小分配。低于此值的请求将设置为此属性的值。此外,资源管理器将关闭配置为具有比此值更少的虚拟核心的节点管理器。 | 1 | |
yarn.scheduler.maximum-allocation-vcores | 就虚拟CPU核心而言,RM上每个容器请求的最大分配。高于此的请求将抛出InvalidResourceRequestException。 | 4 | 12 |
yarn.scheduler.include-port-in-node-name | 由节点标签使用。如果设置为true,则端口应包含在节点名称中。仅在调度程序支持节点标签时才可用。 | FALSE | |
yarn.resourcemanager.recovery.enabled | 启动后启用RM以恢复状态。如果为true,则必须指定yarn.resourcemanager.store.class。 | FALSE | true |
yarn.resourcemanager.fail-fast | 如果遇到任何错误,RM应该快速失败。通过defalt,它指向$ {yarn.fail-fast}。错误包括:1)状态存储写入/读取操作失败时的异常。 | ${yarn.fail-fast} | |
yarn.fail-fast | 如果遇到任何错误,YARN应该快速失败。这是包括RM,NM等所有其他组件的全局配置。如果没有为特定于组件的配置设置值(例如yarn.resourcemanager.fail-fast),则此值将是默认值。 | FALSE | |
yarn.resourcemanager.work-preserving-recovery.enabled | 启用RM工作以保留恢复。此配置对YARN是专用的,用于试验该功能。 | TRUE | |
yarn.resourcemanager.work-preserving-recovery.scheduling-wait-ms | 设置RM在为工作保留 - 恢复分配新容器之前等待的时间。在将新容器分配给应用程序之前,这样的等待期使RM有机会在恢复时解决与集群中的NM重新同步的问题。 | 10000 | |
yarn.resourcemanager.store.class | 用作持久存储的类。如果使用org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore,则隐式隔离存储; 这意味着单个ResourceManager可以在任何时间点使用商店。有关此隐式防护的更多详细信息以及设置适当的ACL将在yarn.resourcemanager.zk-state-store.root-node.acl中讨论。 | org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore | org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore |
yarn.resourcemanager.ha.failover-controller.active-standby-elector.zk.retries | 启用自动故障转移后,ActiveStandbyElector中的zookeeper操作重试次数 | ||
yarn.resourcemanager.state-store.max-completed-applications | RM状态存储保留的最大已完成应用程序数,小于或等于$ {yarn.resourcemanager.max-completed-applications}。默认情况下,它等于$ {yarn.resourcemanager.max-completed-applications}。这可确保保存在状态存储中的应用程序与RM内存中记住的应用程序一致。任何大于$ {yarn.resourcemanager.max-completed-applications}的值都将重置为$ {yarn.resourcemanager.max-completed-applications}。请注意,此值会影响RM恢复性能。通常,值越小表示RM恢复的性能越好。 | ${yarn.resourcemanager.max-completed-applications} | ${yarn.resourcemanager.max-completed-applications} |
yarn.resourcemanager.zk-state-store.parent-path | ZooKeeper znode的完整路径,其中将存储RM状态。当使用org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore作为yarn.resourcemanager.store.class的值时,必须提供此参数。 | /rmstore | |
yarn.resourcemanager.zk-state-store.root-node.acl | 在HA场景中使用ZKRMStateStore进行防护时,用于根znode的ACL。ZKRMStateStore支持隐式防护,允许单个ResourceManager对存储进行写访问。对于防护,群集中的ResourceManagers在根节点上共享读写管理员权限,但Active ResourceManager声明了独占的create-delete权限。默认情况下,如果未设置此属性,我们将使用yarn.resourcemanager.zk-acl中的ACL进行共享管理员访问,使用rm-address:random-number进行基于用户名的独占创建 - 删除访问。此属性允许用户设置自己选择的ACL,而不是使用默认机制。为击剑工作, | ||
yarn.resourcemanager.fs.state-store.uri | URI指向将存储RM状态的FileSystem路径的位置。当使用org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore作为yarn.resourcemanager.store.class的值时,必须提供此参数。 | ${hadoop.tmp.dir}/yarn/system/rmstore | <property> <name>yarn.resourcemanager.fs.state-store.uri</name> <value> </value> </property> |
yarn.resourcemanager.fs.state-store.retry-policy-spec | hdfs客户端重试策略规范。始终启用hdfs客户端重试。在成对的休眠时间和重试次数以及(t0,n0),(t1,n1),...中指定,第一个n0重试平均休眠t0毫秒,以下n1重试平均休眠t1毫秒,等等。 | 2000, 500 | |
yarn.resourcemanager.fs.state-store.num-retries | 在FileSystemRMStateStore中从IOException恢复的重试次数。 | 0 | |
yarn.resourcemanager.fs.state-store.retry-interval-ms | 在FileSystemRMStateStore中重试间隔(以毫秒为单位)。 | 1000 | |
yarn.resourcemanager.leveldb-state-store.path | 使用org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore作为yarn.resourcemanager.store.class的值时将存储RM状态的本地路径 | ${hadoop.tmp.dir}/yarn/system/rmstore | |
yarn.resourcemanager.leveldb-state-store.compaction-interval-secs | leveldb数据库完全压缩之间的时间(以秒为单位)。将间隔设置为零会禁用完整的压缩循环。 | 3600 | |
yarn.resourcemanager.ha.enabled | 启用RM高可用性。启用时,(1)默认情况下,RM以待机模式启动,并在提示时转换为活动模式。(2)RM集合中的节点列在yarn.resourcemanager.ha.rm-ids中(3)如果明确指定了yarn.resourcemanager.ha.id,则每个RM的id来自yarn.resourcemanager.ha.id或者可以通过匹配yarn??.resourcemanager.address。{id}与本地地址(4)找出实际的物理地址来自模式的配置 - {rpc-config}。{id} | FALSE | |
yarn.resourcemanager.ha.automatic-failover.enabled | 启用自动故障转移。默认情况下,仅在启用HA时启用它 | TRUE | |
yarn.resourcemanager.ha.automatic-failover.embedded | 启用嵌入式自动故障转移。默认情况下,仅在启用HA时启用它。嵌入式选举器依赖RM状态存储来处理防护,主要用于与ZKRMStateStore结合使用。 | TRUE | |
yarn.resourcemanager.ha.automatic-failover.zk-base-path | 用于存储领导者信息的基本znode路径,当使用基于ZooKeeper的领导者选举时。 | /yarn-leader-election | |
yarn.resourcemanager.zk-appid-node.split-index | 应用程序ID的最后一部分(应用程序ID中用_分隔的每个部分)的索引将被拆分,以便存储在zookeeper RM状态存储中的应用程序znode将存储为两个不同的znode(父子)。拆分从最后完成。例如,如果没有拆分,appid znode将采用application_1352994193343_0001的形式。如果此配置的值为1,则appid znode将分为两部分application_1352994193343_000和1,前者分别为父节点。然后,application_1352994193343_0002将在父节点application_1352994193343_000下存储为2。此配置可以取0到4之间的值.0表示不会有拆分。如果配置值超出此范围,则将其视为配置值0(即 没有分裂)。如果在基于ZK的RM状态存储中存储大量应用程序并且状态存储操作由于Zookeeper中的LenError而失败,则应配置大于0(最多4)的值。 | 0 | |
yarn.resourcemanager.zk-delegation-token-node.split-index | 将分割RM委派令牌ID的索引,以便存储在zookeeper RM状态存储中的委托令牌znode将存储为两个不同的znode(父子)。分裂是从最后完成的。例如,如果没有拆分,则委托令牌znode的格式为RMDelegationToken_123456789。如果此配置的值为1,则委托令牌znode将分为两部分:RMDelegationToken_12345678和9,前者为父节点。此配置可以取0到4之间的值.0表示不会有拆分。如果该值超出此范围,则将其视为0(即不分割)。如果运行大量应用程序,则应配置大于0(最多4)的值, | 0 | |
yarn.resourcemanager.zk-max-znode-size.bytes | 指定可以存储在znode中的数据的最大大小。值应该与zookeeper中配置的jute.maxbuffer相同或更小。配置的默认值为1MB。 | 1048576 | |
yarn.resourcemanager.cluster-id | 集群的名称。在HA设置中,这用于确保RM参与此群集的领导者选举,并确保它不会影响其他群集 | ||
yarn.resourcemanager.ha.rm-ids | 启用HA时群集中的RM节点列表。有关如何使用纱线的详细信息,请参阅yarn.resourcemanager.ha .enabled的说明。 | ||
yarn.resourcemanager.ha.id | 当前RM的id(字符串)。启用HA时,这是可选配置。当前RM的id可以通过显式指定yarn.resourcemanager.ha.id来设置,也可以通过匹配yarn??.resourcemanager.address。{id}和本??地地址来计算。有关如何获取有关详细信息,请参阅yarn.resourcemanager.ha.enabled的说明这是用的。 | ||
yarn.client.failover-proxy-provider | 启用HA后,客户端,AM和NM将使用的类故障转移到Active RM。它应该扩展org.apache.hadoop.yarn.client.RMFailoverProxyProvider | org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider | org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider |
yarn.client.failover-max-attempts | 启用HA后,FailoverProxyProvider应尝试进行故障转移的最大次数。设置后,将覆盖yarn.resourcemanager.connect.max-wait.ms。未设置时,这可以从yarn.resourcemanager.connect.max-wait.ms中推断出来。 | ||
yarn.client.failover-sleep-base-ms | 启用HA时,睡眠基数(以毫秒为单位)用于计算故障转移之间的指数延迟。设置后,将覆盖yarn.resourcemanager.connect。*设置。未设置时,将使用yarn.resourcemanager.connect.retry-interval.ms。 | ||
yarn.client.failover-sleep-max-ms | 启用HA时,故障转移之间的最长休眠时间(以毫秒为单位)。设置后,将覆盖yarn.resourcemanager.connect。*设置。未设置时,将使用yarn.resourcemanager.connect.retry-interval.ms。 | ||
yarn.client.failover-retries | 启用HA时,每次尝试连接到ResourceManager的重试次数。换句话说,它是在故障转移尝试期间使用的ipc.client.connect.max.retries | 0 | |
yarn.client.failover-retries-on-socket-timeouts | 启用HA时,每次尝试连接到套接字超时上的ResourceManager的重试次数。换句话说,它是在故障转移尝试期间使用的ipc.client.connect.max.retries.on.timeouts | 0 | |
yarn.resourcemanager.max-completed-applications | RM保留的已完成应用程序的最大数量。 | 10000 | |
yarn.resourcemanager.delayed.delegation-token.removal-interval-ms | 延迟令牌删除线程运行的时间间隔 | 30000 | |
yarn.resourcemanager.delegation-token.max-conf-size-bytes | 应用程序可以为RM提供的用于更新委派令牌的配置的最大大小(以字节为单位)。通过实验,每个键值对大约128个字节。默认值12800允许大约100个配置,可能更少。 | 12800 | |
yarn.resourcemanager.proxy-user-privileges.enabled | 如果为true,则ResourceManager将具有代理用户权限。使用案例:在安全集群中,YARN要求用户hdfs delegation-tokens代表用户进行本地化和日志聚合。如果将其设置为true,则ResourceManager可以代表用户请求新的hdfs委派令牌。这是长期运行服务所需要的,因为hdfs令牌最终会过期,YARN需要新的有效令牌才能进行本地化和日志聚合。请注意,要启用此用例,相应的HDFS NameNode必须将ResourceManager配置为代理用户,以便当令牌超过其最大生命周期时,ResourceManager本身可以代表用户请求新令牌。 | FALSE | |
yarn.resourcemanager.am-rm-tokens.master-key-rolling-interval-secs | 用于生成应用程序令牌的主密钥的翻转间隔 | 86400 | |
yarn.resourcemanager.container-tokens.master-key-rolling-interval-secs | 用于生成容器令牌的主密钥的翻转间隔。预计它将比yarn.nm.liveness-monitor.expiry-interval-ms和yarn.resourcemanager.rm.container-allocation.expiry-interval-ms大得多。否则行为未定义。 | 86400 | |
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms | 群集中每个NodeManager的心跳间隔(以毫秒为单位)。 | 1000 | |
yarn.resourcemanager.nodemanager.minimum.version | 连接节点管理器的最小允许版本。有效值为NONE(无版本检查),EqualToRM(nodemanager的版本等于或大于RM版本)或版本字符串。 | NONE | |
yarn.resourcemanager.scheduler.monitor.enable | 启用一组影响调度程序的定期监视器(在yarn.resourcemanager.scheduler.monitor.policies中指定)。 | FALSE | |
yarn.resourcemanager.scheduler.monitor.policies | 与调度程序交互的SchedulingEditPolicy类列表。特定模块可能与调度程序,其他策略或任一配置不兼容。 | org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy | |
yarn.resourcemanager.configuration.provider-class | 用作配置提供程序的类。如果使用org.apache.hadoop.yarn.LocalConfigurationProvider,则将加载本地配置。如果使用org.apache.hadoop.yarn.FileSystemBasedConfigurationProvider,则应首先将要加载的配置上载到远程文件系统。 | org.apache.hadoop.yarn.LocalConfigurationProvider | |
yarn.resourcemanager.configuration.file-system-based-store | 如果yarn.resourcemanager.configuration.provider-class设置为org.apache.hadoop.yarn.FileSystemBasedConfigurationProvider,则该值指定ResourceManager加载配置的文件系统(例如HDFS)路径。 | /yarn/conf | |
yarn.resourcemanager.system-metrics-publisher.enabled | 通过RM控制纱线系统指标是否发布到时间轴服务器(版本1)的设置。现在不推荐使用此配置,而使用yarn.system-metrics-publisher.enabled。 | FALSE | true |
yarn.system-metrics-publisher.enabled | 控制纱线系统指标是否在RM和NM上在时间轴服务上发布的设置。 | FALSE | |
yarn.rm.system-metrics-publisher.emit-container-events | 控制纱线容器事件是否由RM发布到时间轴服务的设置。此配置设置适用于ATS V2。 | FALSE | |
yarn.resourcemanager.system-metrics-publisher.dispatcher.pool-size | 发送yarn系统指标数据的工作线程数。 | 10 | |
yarn.resourcemanager.max-log-aggregation-diagnostics-in-memory | 可以在RM中保存诊断/故障消息的数量以进行日志聚合。它还定义了可以在日志聚合web ui中显示的诊断/失败消息的数量。 | 10 | |
yarn.resourcemanager.delegation-token-renewer.thread-count | RM DelegationTokenRenewer线程计数 | 50 | |
yarn.resourcemanager.delegation.key.update-interval | RM密钥更新间隔(ms) | 86400000 | |
yarn.resourcemanager.delegation.token.max-lifetime | RM委托令牌最长生命周期(ms) | 604800000 | |
yarn.resourcemanager.delegation.token.renew-interval | RM委托令牌更新间隔(ms) | 86400000 | |
yarn.resourcemanager.history-writer.multi-threaded-dispatcher.pool-size | RMApplicationHistoryWriter的线程池大小。 | 10 | |
yarn.resourcemanager.metrics.runtime.buckets | 与计划队列相关的度量标准的逗号分隔值列表(以分钟为单位)。 | 603,001,440 | |
yarn.resourcemanager.nm-tokens.master-key-rolling-interval-secs | 用于生成NodeManager令牌的主密钥的翻转间隔。预计将设置为比yarn.nm.liveness-monitor.expiry-interval-ms大得多的值。 | 86400 | |
yarn.resourcemanager.reservation-system.enable | 用于启用ResourceManager预留系统的标志。 | FALSE | |
yarn.resourcemanager.reservation-system.class | 用作ResourceManager预留系统的Java类。默认情况下,使用CapacityScheduler时设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.CapacityReservationSystem,使用FairScheduler时设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.FairReservationSystem。 | ||
yarn.resourcemanager.reservation-system.plan.follower | 用于ResourceManager预订系统的计划跟随者策略类名称。默认情况下,设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.CapacitySchedulerPlanFollower在使用CapacityScheduler时使用,并在使用FairScheduler时设置为org.apache.hadoop.yarn.server.resourcemanager.reservation.FairSchedulerPlanFollower。 | ||
yarn.resourcemanager.reservation-system.planfollower.time-step | 预约系统的步长,以毫秒为单位 | 1000 | |
yarn.resourcemanager.rm.container-allocation.expiry-interval-ms | 容器的到期间隔 | 600000 | |
yarn.nodemanager.hostname | NM的主机名。 | 0.0.0.0 | |
yarn.nodemanager.address | NM中容器管理器的地址。 | ${yarn.nodemanager.hostname}:0 | 0.0.0.0:45454 |
yarn.nodemanager.bind-host | 服务器将绑定到的实际地址。如果设置了此可选地址,则RPC和webapp服务器将分别绑定到此地址和yarn.nodemanager.address和yarn.nodemanager.webapp.address中指定的端口。这对于通过设置为0.0.0.0使NM监听所有接口非常有用。 | 0.0.0.0 | |
yarn.nodemanager.admin-env | 应该从NodeManager环境转发到容器的环境变量。 | MALLOC_ARENA_MAX=$MALLOC_ARENA_MAX | MALLOC_ARENA_MAX=$MALLOC_ARENA_MAX |
yarn.nodemanager.env-whitelist | 容器可以覆盖的环境变量,而不是使用NodeManager的默认值。 | JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME | |
yarn.nodemanager.container-executor.class | 谁将执行(启动)容器。 | org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor | org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor |
yarn.nodemanager.container-state-transition-listener.classes | 逗号分隔的容器状态转换侦听器列表。 | ||
yarn.nodemanager.container-manager.thread-count | 容器管理器使用的线程数。 | 20 | |
yarn.nodemanager.collector-service.thread-count | 收集器服务使用的线程数。 | 5 | |
yarn.nodemanager.delete.thread-count | 清理中使用的线程数。 | 4 | |
yarn.nodemanager.opportunistic-containers-max-queue-length | 要在nodemanager处排队的最大OPPORTUNISTIC容器数。 | 0 | |
yarn.nodemanager.delete.debug-delay-sec | 应用程序在nodemanager的DeletionService删除应用程序的本地化文件目录和日志目录之前完成的秒数。要诊断YARN应用程序问题,请将此属性的值设置得足够大(例如,设置为600 = 10分钟)以允许检查这些目录。更改属性的值后,必须重新启动nodemanager才能使其生效。YARN应用程序工作目录的根目录可以使用yarn.nodemanager.local-dirs属性进行配置(见下文),YARN应用程序日志目录的根目录可以使用yarn.nodemanager.log-dirs属性进行配置(另请参见下面)。 | 0 | |
yarn.nodemanager.keytab | NM的Keytab。 | /etc/krb5.keytab | |
yarn.nodemanager.local-dirs | 存储本地化文件的目录列表。应用程序的本地化文件目录位于:$ {yarn.nodemanager.local-dirs} / usercache / $ {user} / appcache / application _ $ {appid}。单个容器的工作目录(称为container _ $ {contid})将是其子目录。 | ${hadoop.tmp.dir}/nm-local-dir | /data/hadoop/yarn/local |
yarn.nodemanager.local-cache.max-files-per-directory | 它限制将在单个本地目录中本地化的最大文件数。如果达到限制,则将创建子目录并将新文件本地化。如果设置为小于或等于36的值[这是子目录(0-9然后是az)],则NodeManager将无法启动。例如; [for public cache]如果配置值为40(4个文件+36个子目录),local-dir为“/ tmp / local-dir1”,那么它将允许直接在“/”内创建4个文件TMP /本地DIR1 / filecache”。对于进一步本地化的文件,它将在“/ tmp / local-dir1 / filecache”中创建一个子目录“0”,并将对其中的文件进行本地化,直到它变满。 | 8192 | |
yarn.nodemanager.localizer.address | 地址定位器IPC的地址。 | ${yarn.nodemanager.hostname}:8040 | |
yarn.nodemanager.collector-service.address | 收集器服务IPC的地址。 | ${yarn.nodemanager.hostname}:8048 | |
yarn.nodemanager.localizer.cache.cleanup.interval-ms | 缓存清理之间的间隔。 | 600000 | |
yarn.nodemanager.localizer.cache.target-size-mb | 每个节点管理器以MB为单位的本地化程序缓存的目标大小。它是一个目标保留大小,仅包含具有PUBLIC和PRIVATE可见性的资源,并且不包含具有APPLICATION可见性的资源 | 10240 | |
yarn.nodemanager.localizer.client.thread-count | 处理本地化请求的线程数。 | 5 | |
yarn.nodemanager.localizer.fetch.thread-count | 用于本地化提取的线程数。 | 4 | |
yarn.nodemanager.container-localizer.java.opts | -Xmx256m | ||
yarn.nodemanager.log-dirs | 存储容器日志的位置。应用程序的本地化日志目录位于$ {yarn.nodemanager.log-dirs} / application _ $ {appid}中。单个容器的日志目录将在名为container _ {$ contid}的目录中。每个容器目录将包含该容器生成的文件stderr,stdin和syslog。 | ${yarn.log.dir}/userlogs | /data/hadoop/yarn/log |
yarn.nodemanager.default-container-executor.log-dirs.permissions | 使用DefaultContainerExecutor时用于创建容器目录的权限设置。这遵循标准用户/组/所有权限格式。 | 710 | |
yarn.log-aggregation-enable | 是否启用日志聚合。日志聚合收集每个容器的日志,并在应用程序完成后将这些日志移动到文件系统,例如HDFS。用户可以配置“yarn.nodemanager.remote-app-log-dir”和“yarn.nodemanager.remote-app-log-dir-suffix”属性以确定这些日志的移动位置。用户可以通过应用程序时间线服务器访问日志。 | FALSE | true |
yarn.log-aggregation.retain-seconds | 在删除聚合日志之前保留多长时间。-1禁用。小心设置这个太小,你会浪费 name node 。 | -1 | 2592000 |
yarn.log-aggregation.retain-check-interval-seconds | 在聚合日志保留检查之间等待多长时间。如果设置为0或负值,则该值将计算为聚合日志保留时间的十分之一。小心设置这个太小,你会垃圾邮件名称节点。 | -1 | |
yarn.log-aggregation.file-formats | 指定我们将支持哪些日志文件控制器。我们添加的第一个文件控制器将用于编写聚合日志。这个以逗号分隔的配置将与配置一起使用:yarn.log-aggregation.file-controller。%s.class,它定义了支持的文件控制器的类。默认情况下,将使用TFile控制器。用户可以通过添加更多文件控制器来覆盖此配置。要支持后向兼容性,请确保我们始终添加TFile文件控制器。 | TFile | IndexedFormat,Tfile IndexedFormat 估计会出问题, 需要配置: <property> <name>yarn.log-aggregation.file-controller.IndexedFormat.class</name> <value>org.apache.hadoop.yarn.logaggregation.filecontroller.ifile.LogAggregationIndexedFileController</value> </property> |
yarn.log-aggregation.file-controller.TFile.class | 支持TFile读写操作的类。 | org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController | org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController |
yarn.log-aggregation-status.time-out.ms | ResourceManager等待NodeManager报告其日志聚合状态的时间。如果从NodeManager报告日志聚合状态的等待时间超过配置的值,RM将报告此NodeManager的日志聚合状态为TIME_OUT | 600000 | |
yarn.nodemanager.log.retain-seconds | 保留用户日志的时间(以秒为单位)仅适用于禁用日志聚合的情况 | 10800 | 604800 ( 7 day) |
yarn.nodemanager.remote-app-log-dir | 将日志聚合到的位置。 | /tmp/logs | /app-logs |
yarn.nodemanager.remote-app-log-dir-suffix | 远程日志目录将在{yarn.nodemanager.remote-app-log-dir} / $ {user} / {thisParam}创建 | logs | |
yarn.nodemanager.log-container-debug-info.enabled | 生成有关容器启动的其他日志。目前,这将创建启动脚本的副本,并列出容器工作目录的目录内容。列出目录内容时,我们遵循符号链接到最大深度为5(包括指向容器工作目录之外的符号链接),这可能导致启动容器的速度变慢。 | FALSE | |
yarn.nodemanager.resource.memory-mb | 可以为容器分配的物理内存量(MB)。如果设置为-1且yarn.nodemanager.resource.detect-hardware-capabilities为true,则会自动计算(如果是Windows和Linux)。在其他情况下,默认值为8192MB。 | -1 | 32768 |
yarn.nodemanager.resource.system-reserved-memory-mb | 为非YARN进程保留的物理内存量(MB)。仅当yarn.nodemanager.resource.detect-hardware-capabilities设置为true且yarn.nodemanager.resource.memory-mb为-1时,才使用此配置。如果设置为-1,则此数量计算为20%(系统内存 - 2 * HADOOP_HEAPSIZE) | -1 | |
yarn.nodemanager.pmem-check-enabled | 是否将对容器强制实施物理内存限制。 | TRUE | |
yarn.nodemanager.vmem-check-enabled | 是否将对容器强制实施虚拟内存限制。 | TRUE | false |
yarn.nodemanager.vmem-pmem-ratio | 设置容器的内存限制时虚拟内存与物理内存之间的比率。容器分配以物理内存表示,允许虚拟内存使用量超过此分配。 | 2.1 | |
yarn.nodemanager.resource.cpu-vcores | 可以为容器分配的vcores数。在为容器分配资源时,RM调度程序使用它。这不用于限制YARN容器使用的CPU数量。如果设置为-1且yarn.nodemanager.resource.detect-hardware-capabilities为true,则在Windows和Linux的情况下会自动从硬件确定。在其他情况下,默认情况下,vcores的数量为8。 | -1 | 24 |
yarn.nodemanager.resource.count-logical-processors-as-cores | 用于确定逻辑处理器(例如超线程)是否应计为内核的标志。仅当yarn.nodemanager.resource.cpu-vcores设置为-1且yarn.nodemanager.resource.detect-hardware-capabilities为true时才适用于Linux。 | FALSE | |
yarn.nodemanager.resource.pcores-vcores-multiplier | 乘数来确定如何将物理核心转换为vcores。如果yarn.nodemanager.resource.cpu-vcores设置为-1(表示自动计算vcores)并且yarn.nodemanager.resource.detect-hardware-capabilities设置为true,则使用此值。vcores的数量将计算为CPU数*乘数。 | 1 | |
yarn.nodemanager.logaggregation.threadpool-size-max | 节点管理器中LogAggregationService的线程池大小。 | 100 | |
yarn.nodemanager.resource.percentage-physical-cpu-limit | 可以为容器分配的CPU百分比。此设置允许用户限制YARN容器使用的CPU数量。目前仅在使用cgroup的Linux上运行。默认是使用100%的CPU。 | 100 | |
yarn.nodemanager.resource.detect-hardware-capabilities | 启用节点功能(如内存和CPU)的自动检测。 | FALSE | |
yarn.nodemanager.webapp.address | NM Webapp地址。 | ${yarn.nodemanager.hostname}:8042 | |
yarn.nodemanager.webapp.https.address | NM Web应用程序的https地址。 | 0.0.0.0:8044 | |
yarn.nodemanager.webapp.spnego-keytab-file | 用于NM Web界面的spnego过滤器的Kerberos keytab文件。 | ||
yarn.nodemanager.webapp.spnego-principal | 用于NM Web界面的spnego过滤器的Kerberos主体。 | ||
yarn.nodemanager.resource-monitor.interval-ms | 监视节点和容器的频率。如果为0或负数,则禁用监视。 | 3000 | |
yarn.nodemanager.resource-calculator.class | 计算当前资源利用率的类。 | ||
yarn.nodemanager.container-monitor.enabled | 启用容器监视器 | TRUE | |
yarn.nodemanager.container-monitor.interval-ms | 监视容器的频率。如果未设置,将使用yarn.nodemanager.resource-monitor.interval-ms的值。如果为0或负数,则禁用容器监视。 | 3000 | |
yarn.nodemanager.container-monitor.resource-calculator.class | 计算容器当前资源利用率的类。如果未设置,将使用yarn.nodemanager.resource-calculator.class的值。 | ||
yarn.nodemanager.health-checker.interval-ms | 运行节点运行状况脚本的频率。 | 600000 | 135000 |
yarn.nodemanager.health-checker.script.timeout-ms | 脚本超时期限。 | 1200000 | 60000 |
yarn.nodemanager.health-checker.script.path | 要运行的运行状况检查脚本。 | ||
yarn.nodemanager.health-checker.script.opts | 传递给运行状况检查脚本的参数。 | ||
yarn.nodemanager.disk-health-checker.interval-ms | 运行磁盘运行状况检查程序代码的频率。 | 120000 | |
yarn.nodemanager.disk-health-checker.min-healthy-disks | nodemanager启动新容器的最佳磁盘数量的最小比例。这对应于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。即如果可用的健康local-dirs(或log-dirs)数量较少,则不会在此节点上启动新容器。 | 0.25 | |
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage | 磁盘空间利用率的最大百分比,在此之后磁盘被标记为坏。值的范围为0.0到100.0。如果该值大于或等于100,则nodemanager将检查是否有完整磁盘。这适用于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。 | 90 | |
yarn.nodemanager.disk-health-checker.disk-utilization-watermark-low-per-disk-percentage | 将坏磁盘标记为良好时使用的磁盘空间阈值百分比较低。值的范围为0.0到100.0。这适用于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。请注意,如果其值大于yarn.nodemanager.disk-health-checker。max-disk-utilization-per-disk-percentage或未设置,将设置为与yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage相同的值。 | ||
yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb | 磁盘上必须使用的最小空间。这适用于yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。 | 0 | |
yarn.nodemanager.linux-container-executor.path | Linux容器执行程序的路径。 | ||
yarn.nodemanager.linux-container-executor.resources-handler.class | 应该帮助LCE处理资源的类。 | org.apache.hadoop.yarn.server.nodemanager.util.DefaultLCEResourcesHandler | |
yarn.nodemanager.linux-container-executor.cgroups.hierarchy | 用于放置YARN的cgroups层次结构(不能包含逗号)。如果yarn.nodemanager.linux-container-executor.cgroups.mount为false(即,如果已经预先配置了cgroup)并且YARN用户具有对父目录的写访问权限,则将创建该目录。如果该目录已存在,则管理员必须以递归方式向其授予YARN写入权限。仅当LCE资源处理程序设置为CgroupsLCEResourcesHandler时,此属性才适用。 | /hadoop-yarn | |
yarn.nodemanager.linux-container-executor.cgroups.mount | LCE是否应该在未找到的情况下尝试挂载cgroup。仅当LCE资源处理程序设置为CgroupsLCEResourcesHandler时,此属性才适用。 | FALSE | |
yarn.nodemanager.linux-container-executor.cgroups.mount-path | 此属性设置YARN将读取CGroups配置的路径。YARN具有发现系统CGroup装载路径的内置功能,因此仅当YARN的自动装载路径发现不起作用时才使用此属性。在启动NodeManager之前,此属性指定的路径必须存在。如果yarn.nodemanager.linux-container-executor.cgroups.mount设置为true,则YARN将首先尝试在读取它们之前将CGroup安装在指定的路径上。如果yarn.nodemanager.linux-container-executor.cgroups.mount设置为false,则YARN将读取指定路径上的CGroup。如果此属性为空,则YARN会尝试检测CGroups位置。有关更多详细信息,请参阅文档中的NodeManagerCgroups.html。 | ||
yarn.nodemanager.linux-container-executor.cgroups.delete-delay-ms | 尝试删除linux cgroup之间的延迟ms | 20 | |
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users | 这决定了LCE应该在非安全集群上使用的两种模式中的哪一种。如果此值设置为true,则将以yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user中指定的用户启动所有容器。如果此值设置为false,则容器将以提交应用程序的用户身份运行。 | TRUE | |
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | 如果设置了yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users,则容器将在非安全模式下使用Linux容器执行程序时运行的UNIX用户(此用例使用cgroups)为真。 | nobody | |
yarn.nodemanager.linux-container-executor.nonsecure-mode.user-pattern | Linux-container-executor在非安全模式下使用时允许的UNIX用户名模式(用例是使用cgroups)。默认值取自/ usr / sbin / adduser | ^[_.A-Za-z0-9][-@_.A-Za-z0-9]{0,255}?[$]?$ | |
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage | 此标志确定应用程序是应以严格的资源限制运行,还是允许在需要时使用备用资源。例如,打开标志将限制应用程序仅使用其CPU份额,即使该节点具有备用CPU周期。默认值为false,即使用可用资源。请注意,打开此标志可能会降低群集上的作业吞吐量。 | FALSE | |
yarn.nodemanager.runtime.linux.allowed-runtimes | 逗号分隔的使用LinuxContainerExecutor时允许的运行时列表。允许的值是default和docker。 | default | |
yarn.nodemanager.runtime.linux.docker.capabilities | 此配置设置确定在启动时分配给docker容器的功能。虽然从docker的角度来看这些可能不区分大小写,但最好保持这些大写。要在没有任何功能的情况下运行,请将此值设置为“none”或“NONE” | CHOWN,DAC_OVERRIDE,FSETID,FOWNER,MKNOD,NET_RAW,SETGID,SETUID,SETFCAP,SETPCAP,NET_BIND_SERVICE,SYS_CHROOT,KILL,AUDIT_WRITE | |
yarn.nodemanager.runtime.linux.docker.privileged-containers.allowed | 此配置设置确定此群集上是否允许特权docker容器。请特别小心使用。 | FALSE | |
yarn.nodemanager.runtime.linux.docker.privileged-containers.acl | 此配置设置确定允许谁在此群集上运行特权docker容器。请特别小心使用。 | ||
yarn.nodemanager.runtime.linux.docker.allowed-container-networks | 使用DockerContainerRuntime启动容器时允许的网络集。 | host,none,bridge | |
yarn.nodemanager.runtime.linux.docker.default-container-network | 在请求中未指定网络时使用DockerContainerRuntime启动容器时使用的网络。该网络必须是(可配置的)允许的容器网络之一。 | host | |
yarn.nodemanager.runtime.linux.docker.enable-userremapping.allowed | 启用docker用户重映射的属性 | TRUE | |
yarn.nodemanager.runtime.linux.docker.userremapping-uid-threshold | 用户重新映射用户的可接受uid的下限 | 1 | |
yarn.nodemanager.runtime.linux.docker.userremapping-gid-threshold | 用户重新映射用户的可接受gid的下限 | 1 | |
yarn.nodemanager.windows-container.memory-limit.enabled | 此标志确定是否将为默认容器执行程序启动的容器的Windows作业对象设置内存限制。 | FALSE | |
yarn.nodemanager.windows-container.cpu-limit.enabled | 此标志确定是否将为默认容器执行程序启动的容器的Windows作业对象设置CPU限制。 | FALSE | |
yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms | 在清理容器时,linux容器执行程序应该尝试清理cgroups条目的时间间隔。 | 1000 | |
yarn.nodemanager.linux-container-executor.group | linux-container-executor应该运行的UNIX组。 | hadoop | |
yarn.nodemanager.log-aggregation.compression-type | 用于压缩聚合日志的T文件压缩类型。 | none | gz |
yarn.nodemanager.principal | 节点管理器的kerberos主体。 | ||
yarn.nodemanager.aux-services | 以逗号分隔的服务列表,其中服务名称应仅包含a-zA-Z0-9_且不能以数字开头 | mapreduce_shuffle,spark2_shuffle | |
yarn.nodemanager.sleep-delay-before-sigkill.ms | 将SIGTERM和SIGKILL发送到容器之间要等待的ms数 | 250 | |
yarn.nodemanager.process-kill-wait.ms | 尝试清理容器时等待进程出现的最长时间 | 2000 | |
yarn.nodemanager.resourcemanager.minimum.version | nodemanager将连接到的资源管理器的最小允许版本。有效值为NONE(无版本检查),EqualToNM(资源管理器的版本等于或大于NM版本)或版本字符串。 | NONE | |
yarn.nodemanager.container-diagnostics-maximum-size | 包含诊断的最大大小,以便重新启动容器盒。 | 10000 | |
yarn.nodemanager.container-retry-minimum-interval-ms | 最小容器重启间隔(以毫秒为单位)。 | 1000 | |
yarn.client.nodemanager-client-async.thread-pool-max-size | NMClientAsync中用于处理容器管理事件的最大线程数 | 500 | |
yarn.client.nodemanager-connect.max-wait-ms | 等待与NM建立连接的最长时间 | 180000 | 60000 |
yarn.client.nodemanager-connect.retry-interval-ms | 每次尝试连接到NM之间的时间间隔 | 10000 | |
yarn.nodemanager.resourcemanager.connect.max-wait.ms | 等待NM连接到RM的最长时间。未设置时,代理将回退到使用yarn.resourcemanager.connect.max-wait.ms的值。 | ||
yarn.nodemanager.resourcemanager.connect.retry-interval.ms | 每个NM尝试连接到RM之间的时间间隔。未设置时,代理将回退到使用yarn.resourcemanager.connect.retry-interval.ms的值。 | ||
yarn.client.max-cached-nodemanagers-proxies | 节点管理器的最大缓存代理连接数。如果设置为大于零的值,则启用缓存,NMClient和MRAppMaster将缓存指定数量的节点管理器代理。每个节点管理器最多只能有一个代理。防爆。将其配置为值5将确保客户端最多有5个代理缓存5个不同的节点管理器。如果空闲时间超过系统范围的空闲超时时间,则这些代理的这些连接将超时。请注意,这可能会导致大型群集出现问题,因为许多连接可能会同时延迟并导致大量连接线程。用于身份验证的令牌仅在连接创建时使用。如果收到新令牌,则应关闭先前的连接以使用新令牌。这和(yarn.client.nodemanager-client-async.thread-pool-max-size)是相关的,应该是同步的(不需要它们相等)。如果此属性的值为零,则禁用连接缓存,并且连接将使用零空闲超时来防止大型群集上的连接线程过多。 | 0 | |
yarn.nodemanager.recovery.enabled | 启动后启用节点管理器以进行恢复 | FALSE | true |
yarn.nodemanager.recovery.dir | 启用恢复时节点管理器将在其中存储状态的本地文件系统目录。 | ${hadoop.tmp.dir}/yarn-nm-recovery | /data/var/log/hadoop-yarn/nodemanager/recovery-state |
yarn.nodemanager.recovery.compaction-interval-secs | NM状态数据库的完全压缩之间的时间(以秒为单位)。将间隔设置为零会禁用完整的压缩循环。 | 3600 | |
yarn.nodemanager.recovery.supervised | nodemanager是否在监督下运行。支持恢复并在监督下运行的节点管理器将不会尝试清理容器,因为它会立即重新启动并恢复容器。 | FALSE | |
yarn.nodemanager.container-executor.os.sched.priority.adjustment | 调整容器OS调度优先级。在Linux中,直接传递给nice命令。如果未指定,则启动容器时没有任何明确的OS优先级。 | ||
yarn.nodemanager.container-metrics.enable | 标记以启用容器指标 | TRUE | |
yarn.nodemanager.container-metrics.period-ms | 容器度量标准刷新周期(ms)。设置为-1表示完成时刷新。 | -1 | |
yarn.nodemanager.container-metrics.unregister-delay-ms | 完成后取消注册容器指标的延迟时间ms。 | 10000 | 60000 |
yarn.nodemanager.container-monitor.process-tree.class | 用于计算当前容器资源利用率的类。 | ||
yarn.nodemanager.disk-health-checker.enable | 用于启用NodeManager磁盘运行状况检查程序的标志 | TRUE | |
yarn.nodemanager.log.deletion-threads-count | NM日志清理中使用的线程数。禁用日志聚合时使用。 | 4 | |
yarn.nodemanager.windows-secure-container-executor.group | Windows-container-executor应该运行的Windows组。 | ||
yarn.nodemanager.docker-container-executor.exec-name | Docker客户端的名称或路径。 | /usr/bin/docker | |
yarn.nodemanager.docker-container-executor.image-name | 用于DockerContainerExecutor的Docker镜像名称 | ||
yarn.nodemanager.aux-services.mapreduce_shuffle.class | org.apache.hadoop.mapred.ShuffleHandler | org.apache.hadoop.mapred.ShuffleHandler | |
yarn.web-proxy.principal | 代理的kerberos主体,如果代理不是作为RM的一部分运行的话。 | ||
yarn.web-proxy.keytab | WebAppProxy的Keytab,如果代理未作为RM的一部分运行。 | ||
yarn.web-proxy.address | Web代理的地址为HOST:PORT,如果未给出,则代理将作为RM的一部分运行 | ||
yarn.application.classpath | 适用于YARN应用程序的CLASSPATH。以逗号分隔的CLASSPATH条目列表。当此值为空时,将使用以下默认的CLARSPATH for YARN应用程序。对于Linux:$ HADOOP_CONF_DIR,$ HADOOP_COMMON_HOME / share / hadoop / common / *,$ HADOOP_COMMON_HOME / share / hadoop / common / lib / *,$ HADOOP_HDFS_HOME / share / hadoop / hdfs / *,$ HADOOP_HDFS_HOME / share / hadoop / hdfs / lib / *,$ HADOOP_YARN_HOME / share / hadoop / yarn / *,$ HADOOP_YARN_HOME / share / hadoop / yarn / lib / *对于Windows:%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/ share / hadoop / common / *,%HADOOP_COMMON_HOME%/ share / hadoop / common / lib / *,%HADOOP_HDFS_HOME%/ share / hadoop / hdfs / *,%HADOOP_HDFS_HOME%/ share / hadoop / hdfs / lib / *,%HADOOP_YARN_HOME%/ share / hadoop / yarn / *, | ||
yarn.timeline-service.version | 指示正在运行的时间轴服务的当前版本。例如,如果“yarn.timeline-service.version”为1.5,并且“yarn.timeline-service.enabled”为true,则表示群集将并且应该调出时间轴服务v.1.5(并且没有其他内容)。在客户端,如果客户端使用相同版本的时间轴服务,则应该成功。如果客户选择使用较小的版本,那么根据版本之间兼容性故事的稳健程度,结果可能会有所不同。 | 1.0f | 1.5 |
yarn.timeline-service.enabled | 在服务器端,它指示是否启用时间线服务。在客户端,用户可以启用它来指示客户是否想要使用时间线服务。如果在客户端启用了安全性,则yarn客户端会尝试获取时间线服务器的委托令牌。 | FALSE | true |
yarn.timeline-service.hostname | 时间轴服务Web应用程序的主机名。 | 0.0.0.0 | |
yarn.timeline-service.address | 这是启动RPC服务器的时间轴服务器的默认地址。 | ${yarn.timeline-service.hostname}:10200 | bj-rack001-hadoop003:10200 |
yarn.timeline-service.webapp.address | 时间轴服务Web应用程序的http地址。 | ${yarn.timeline-service.hostname}:8188 | bj-rack001-hadoop003:8188 |
yarn.timeline-service.webapp.https.address | 时间线服务Web应用程序的https地址。 | ${yarn.timeline-service.hostname}:8190 | bj-rack001-hadoop003:8190 |
yarn.timeline-service.bind-host | 服务器将绑定到的实际地址。如果设置了此可选地址,RPC和webapp服务器将分别绑定到此地址和yarn.timeline-service.address和yarn.timeline-service.webapp.address中指定的端口。这对于通过设置为0.0.0.0使服务侦听所有接口非常有用。 | 0.0.0.0 | |
yarn.timeline-service.generic-application-history.max-applications | 定义可以使用REST API或应用程序历史协议获取的最大应用程序数,并显示在时间轴服务器web ui中。 | 10000 | |
yarn.timeline-service.store-class | 存储时间轴商店的类名。 | org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore | org.apache.hadoop.yarn.server.timeline.EntityGroupFSTimelineStore |
yarn.timeline-service.ttl-enable | 启用时间轴存储数据的年龄。 | TRUE | |
yarn.timeline-service.ttl-ms | 生存时间线的时间以毫秒为单位存储数据。 | 604800000 | 2678400000 |
yarn.timeline-service.leveldb-timeline-store.path | 存储leveldb时间线存储的文件名。 | ${hadoop.tmp.dir}/yarn/timeline | /hadoop/yarn/timeline |
yarn.timeline-service.leveldb-timeline-store.ttl-interval-ms | leveldb时间轴存储的删除周期之间等待的时间长度,以毫秒为单位。 | 300000 | |
yarn.timeline-service.leveldb-timeline-store.read-cache-size | leveldb时间轴存储的未压缩块的读缓存大小(以字节为单位)。 | 104857600 | 104857600 |
yarn.timeline-service.leveldb-timeline-store.start-time-read-cache-size | 最近读取的实体开始时间的高速缓存大小,用于leveldb时间线存储在实体数量中。 | 10000 | |
yarn.timeline-service.leveldb-timeline-store.start-time-write-cache-size | 最近编写的leveldb时间轴实体开始时间的缓存大小以实体数量存储。 | 10000 | |
yarn.timeline-service.handler-thread-count | 处理程序线程计数为客户端RPC请求提供服务。 | 10 | |
yarn.timeline-service.http-authentication.type | 定义用于时间线服务器HTTP端点的身份验证。支持的值是:simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# | simple | |
yarn.timeline-service.http-authentication.simple.anonymous.allowed | 指示使用“简单”身份验证时,时间线服务器是否允许匿名请求。 | TRUE | |
yarn.timeline-service.principal | 时间线服务器的Kerberos主体。 | ||
yarn.timeline-service.keytab | 时间线服务器的Kerberos密钥表。 | /etc/krb5.keytab | |
yarn.timeline-service.ui-names | 以逗号分隔的将要托管的UI列表 | ||
yarn.timeline-service.client.max-retries | 时间轴服务客户端的默认最大重试次数和值-1表示没有限制。 | 30 | |
yarn.timeline-service.client.best-effort | 客户关于时间线操作是否非致命的政策。如果获取委托令牌的失败被认为是应用程序失败(option = false),或者客户端是否应该尝试在没有它的情况下继续发布信息(option = true) | FALSE | |
yarn.timeline-service.client.retry-interval-ms | 时间线服务客户端的默认重试时间间隔。 | 1000 | |
yarn.timeline-service.client.drain-entities.timeout.ms | 时间线v2客户端在停止后等待耗尽剩余实体的时间段。 | 2000 | |
yarn.timeline-service.recovery.enabled | 启动后启用时间轴服务器恢复状态。如果为true,则必须指定yarn.timeline-service.state-store-class。 | FALSE | true |
yarn.timeline-service.state-store-class | 存储时间线状态存储的类名。 | org.apache.hadoop.yarn.server.timeline.recovery.LeveldbTimelineStateStore | org.apache.hadoop.yarn.server.timeline.recovery.LeveldbTimelineStateStore |
yarn.timeline-service.leveldb-state-store.path | 存储leveldb状态存储的文件名。 | ${hadoop.tmp.dir}/yarn/timeline | /hadoop/yarn/timeline |
yarn.timeline-service.entity-group-fs-store.cache-store-class | 缓存存储时间线服务器v1.5正在使用。 | org.apache.hadoop.yarn.server.timeline.MemoryTimelineStore | |
yarn.timeline-service.entity-group-fs-store.active-dir | 用于存储活动应用程序的时间轴数据的HDFS路径 | /tmp/entity-file-history/active | /ats/active/ |
yarn.timeline-service.entity-group-fs-store.done-dir | 用于存储完成的应用程序的时间线数据的HDFS路径 | /tmp/entity-file-history/done/ | /ats/done/ |
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes | 可以将时间轴实体读取请求转换为时间轴实体组ID列表的插件,以逗号分隔。 | org.apache.tez.dag.history.logging.ats.TimelineCachePluginImpl | |
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classpath | yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes中定义的所有插件的类路径。 | <property> <name>yarn.timeline-service.entity-group-fs-store.group-id-plugin-classpath</name> <value></value> </property> |
|
yarn.timeline-service.entity-group-fs-store.summary-store | ATS v1.5的摘要存储 | org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore | org.apache.hadoop.yarn.server.timeline.RollingLevelDBTimelineStore |
yarn.timeline-service.entity-group-fs-store.scan-interval-seconds | ATS v1.5实体组文件系统存储读取器的扫描间隔。此值控制读取器扫描HDFS活动目录以查找应用程序状态的频率。 | 60 | 15 |
yarn.timeline-service.entity-group-fs-store.cleaner-interval-seconds | ATS v1.5实体组文件系统存储清理器的扫描间隔。此值控制读取器扫描HDFS完成目录以查找过时应用程序数据的频率。 | 3600 | |
yarn.timeline-service.entity-group-fs-store.retain-seconds | ATS v1.5实体组文件系统存储将把应用程序的数据保存在done目录中多长时间。 | 604800 | |
yarn.timeline-service.entity-group-fs-store.leveldb-cache-read-cache-size | 读取ATS v1.5插件存储中leveldb缓存存储的缓存大小。 | 10485760 | |
yarn.timeline-service.entity-group-fs-store.app-cache-size | ATS v1.5阅读器的阅读器缓存大小。此值控制ATS v1.5服务器应缓存的实体组数。如果活动读取实体组的数量大于高速缓存项目的数量,则某些读取可能返回空数据。该值必须大于0。 | 10 | |
yarn.timeline-service.client.fd-flush-interval-secs | ATS v1.5编写器的刷新间隔。此值控制编写器为实体/域刷新HDFS FSStream的频率。 | 10 | 5 |
yarn.timeline-service.client.fd-clean-interval-secs | ATS v1.5编写器的扫描间隔。此值控制编写器扫描实体/域的HDFS FSStream的频率。如果FSStream长时间过时,则此FSStream将关闭。 | 60 | |
yarn.timeline-service.client.fd-retain-secs | ATS v1.5编写器将保持FSStream打开多长时间。如果此fsstream在此配置时间内没有写入任何内容,则它将关闭。 | 300 | |
yarn.timeline-service.writer.class | 存储实现ATS v2将用于TimelineWriter服务。 | org.apache.hadoop.yarn.server.timelineservice.storage.HBaseTimelineWriterImpl | |
yarn.timeline-service.reader.class | 存储实现ATS v2将用于TimelineReader服务。 | org.apache.hadoop.yarn.server.timelineservice.storage.HBaseTimelineReaderImpl | |
yarn.timeline-service.client.internal-timers-ttl-secs | 内部计时器任务在编写器中可以存活多长时间。如果此配置时间没有写入操作,则内??部计时器任务将关闭。 | 420 | |
yarn.timeline-service.writer.flush-interval-seconds | 控制时间轴收集器刷新时间轴编写器的频率的设置。 | 60 | |
yarn.timeline-service.app-collector.linger-period.ms | 在应用程序主容器完成之后,应用程序收集器将在NM中处于活动状态的时间段。 | 1000 | |
yarn.timeline-service.timeline-client.number-of-async-entities-to-merge | 时间线V2客户端尝试合并这些大量的异步实体(如果可用),然后调用REST ATS V2 API进行提交。 | 10 | |
yarn.timeline-service.hbase.coprocessor.app-final-value-retention-milliseconds | 在合并到流量总和之前,控制已完成应用程序的度量标准的最终值保留多长时间的设置。在应用程序完成后的这段时间内,无法以增加的存储成本识别和丢弃到达的无序值。 | 259200000 | |
yarn.timeline-service.hbase.coprocessor.jar.hdfs.location | flowrun协处理器jar的默认hdfs位置。 | /hbase/coprocessor/hadoop-yarn-server-timelineservice.jar | |
yarn.timeline-service.hbase-schema.prefix | 此参数的值为hbase存储架构中作为时间轴服务一部分的所有表设置前缀。它可以设置为“dev。” 或“分期”。如果它用于开发或暂存实例。这样,生产表中的数据保留在一组以“prod。”为前缀的单独表中。 | prod. | |
yarn.timeline-service.hbase.configuration.file | 用于连接到时间轴服务hbase集群的hbase-site.xml配置文件的可选URL。如果为空或未指定,则将从类路径加载HBase配置。指定时,指定配置文件中的值将覆盖类路径中存在的值。 | ||
yarn.sharedcache.enabled | 是否启用了共享缓存 | FALSE | |
yarn.sharedcache.root-dir | 共享缓存的根目录 | /sharedcache | |
yarn.sharedcache.nested-level | 获取校验和目录之前嵌套目录的级别。它必须是非负面的。 | 3 | |
yarn.sharedcache.store.class | 用于SCM存储的实现 | org.apache.hadoop.yarn.server.sharedcachemanager.store.InMemorySCMStore | |
yarn.sharedcache.app-checker.class | 用于SCM app-checker的实现 | org.apache.hadoop.yarn.server.sharedcachemanager.RemoteAppChecker | |
yarn.sharedcache.store.in-memory.staleness-period-mins | 如果自上次引用以来的时间超过过期时间,则内存存储中的资源被视为过时。该值以分钟为单位指定。 | 10080 | |
yarn.sharedcache.store.in-memory.initial-delay-mins | 内存存储器运行第一次检查以删除死的初始应用程序之前的初始延迟。以分钟为单位指定。 | 10 | |
yarn.sharedcache.store.in-memory.check-period-mins | 内存存储检查以删除死初始应用程序的频率。以分钟为单位指定。 | 720 | |
yarn.sharedcache.admin.address | SCM(共享缓存管理器)中管理界面的地址 | 0.0.0.0:8047 | |
yarn.sharedcache.admin.thread-count | 用于处理SCM管理界面的线程数(默认为1) | 1 | |
yarn.sharedcache.webapp.address | SCM中的Web应用程序的地址(共享缓存管理器) | 0.0.0.0:8788 | |
yarn.sharedcache.cleaner.period-mins | 清洁任务运行的频率。以分钟为单位指定。 | 1440 | |
yarn.sharedcache.cleaner.initial-delay-mins | 计划第一个清洁任务之前的初始延迟。以分钟为单位指定。 | 10 | |
yarn.sharedcache.cleaner.resource-sleep-ms | 处理每个共享缓存资源之间的休眠时间。以毫秒为单位指定。 | 0 | |
yarn.sharedcache.uploader.server.address | SCM中的节点管理器接口的地址(共享缓存管理器) | 0.0.0.0:8046 | |
yarn.sharedcache.uploader.server.thread-count | 用于处理来自节点管理器的共享缓存管理器请求的线程数(默认情况下为50) | 50 | |
yarn.sharedcache.client-server.address | SCM中的客户端接口的地址(共享缓存管理器) | 0.0.0.0:8045 | |
yarn.sharedcache.client-server.thread-count | 用于处理来自客户端的共享缓存管理器请求的线程数(默认情况下为50) | 50 | |
yarn.sharedcache.checksum.algo.impl | 用于计算文件校验和的算法(默认情况下为SHA-256) | org.apache.hadoop.yarn.sharedcache.ChecksumSHA256Impl | |
yarn.sharedcache.nm.uploader.replication.factor | 共享高速缓存的节点管理器上载器的复制因子(默认为10) | 10 | |
yarn.sharedcache.nm.uploader.thread-count | 用于从节点管理器实例上载文件的线程数(默认为20) | 20 | |
security.applicationhistory.protocol.acl | 用于时间轴服务器的ACL协议。 | ||
yarn.is.minicluster | 对于MiniYARNCluster单元测试,设置为true | FALSE | |
yarn.minicluster.control-resource-monitoring | 设置MiniYARNCluster单元测试以控制资源监视 | FALSE | |
yarn.minicluster.fixed.ports | 设置为false以允许MiniYARNCluster在没有端口冲突的情况下运行测试。 | FALSE | |
yarn.minicluster.use-rpc | 设置为false以允许MiniYARNCluster中的NodeManager使用RPC与RM通信。 | FALSE | |
yarn.minicluster.yarn.nodemanager.resource.memory-mb | 作为yarn.nodemanager.resource.memory-mb属性,但是对于MiniYARNCluster中的NodeManager。 | 4096 | |
yarn.node-labels.enabled | 启用节点标签功能 | FALSE | |
yarn.node-labels.fs-store.retry-policy-spec | 用于FileSystem节点标签存储的重试策略。策略由N对休眠时间(以毫秒为单位)和重试次数“s1,n1,s2,n2,...”指定。 | 2000, 500 | |
yarn.node-labels.fs-store.root-dir | NodeLabelManager的URI。默认值为本地文件系统中的/ tmp / hadoop-yarn - $ {user} / node-labels /。 | /system/yarn/node-labels | |
yarn.node-labels.configuration-type | 设置节点标签的配置类型。管理员可以指定“集中式”,“委托集中式”或“分布式”。 | centralized | |
yarn.nodemanager.node-labels.provider | 当“yarn.node-labels.configuration-type”在RM中配置为“distributed”时,管理员可以通过配置此参数在NM中为节点标签配置提供程序。管理员可以配置“config”,“script”或提供程序的类名。配置的类需要扩展org.apache.hadoop.yarn.server.nodemanager.nodelabels.NodeLabelsProvider。如果配置了“config”,则配置“ConfigurationNodeLabelsProvider”并且如果配置了“script”,则将使用“ScriptNodeLabelsProvider”。 | ||
yarn.nodemanager.node-labels.provider.fetch-interval-ms | 当“yarn.nodemanager.node-labels.provider”配置为“config”,“Script”或配置的类扩展AbstractNodeLabelsProvider时,将定期从节点标签提供程序检索节点标签。此配置用于定义间隔时段。如果配置为-1,则仅在初始化期间从提供程序检索节点标签。默认为10分钟。 | 600000 | |
yarn.nodemanager.node-labels.resync-interval-ms | NM将其节点标签与RM同步的时间间隔。NM将每隔x个间隔发送其加载的标签,并将心跳发送到RM。 | 120000 | |
yarn.nodemanager.node-labels.provider.configured-node-partition | 当“yarn.nodemanager.node-labels.provider”配置为“config”时,ConfigurationNodeLabelsProvider将从此参数中获取分区标签。 | ||
yarn.nodemanager.node-labels.provider.fetch-timeout-ms | 当“yarn.nodemanager.node-labels.provider”配置为“Script”时,此配置提供超时时间,之后它将中断查询Node标签的脚本。默认为20分钟。 | 1200000 | |
yarn.resourcemanager.node-labels.provider | 当节点标签“yarn.node-labels.configuration-type”的类型为“委托集中”时,管理员应配置用于通过ResourceManager获取节点标签的类。配置的类需要扩展org.apache.hadoop.yarn.server.resourcemanager.nodelabels。RMNodeLabelsMappingProvider。 | ||
yarn.resourcemanager.node-labels.provider.fetch-interval-ms | 当“yarn.node-labels.configuration-type”配置为“委托集中”时,则从节点标签提供程序中定期检索节点标签。此配置用于定义间隔。如果配置为-1,则在注册后,每个节点仅从提供程序检索一次节点标签。默认为30分钟。 | 1800000 | |
yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs | YARN节点正常退役的超时(以秒为单位)。这是在将DECOMMISSIONING节点转换为DECOMMISSIONED之前等待运行容器和应用程序的最长时间。 | 3600 | |
yarn.resourcemanager.decommissioning-nodes-watcher.poll-interval-secs | DecommissioningNodesWatcher内部轮询的超时秒数。 | 20 | |
yarn.nodemanager.node-labels.provider.script.path | 要运行的节点标签脚本。脚本输出以“NODE_PARTITION:”开头的行将被视为节点标签分区。如果多行具有此模式,则将考虑最后一行 | ||
yarn.nodemanager.node-labels.provider.script.opts | 传递给Node标签脚本的参数。 | ||
yarn.federation.enabled | 标记以指示RM是否参与联邦。 | FALSE | |
yarn.federation.machine-list | 要由FederationSubCluster解析程序加载的计算机列表文件 | ||
yarn.federation.subcluster-resolver.class | SubClusterResolver的类名 | org.apache.hadoop.yarn.server.federation.resolver.DefaultSubClusterResolverImpl | |
yarn.federation.state-store.class | 存储联合状态存储的类名 | org.apache.hadoop.yarn.server.federation.store.impl.MemoryFederationStateStore | |
yarn.federation.cache-ttl.secs | 以秒为单位的时间,此时联合状态存储本地缓存将定期刷新 | 300 | |
yarn.federation.registry.base-dir | 联合的注册表基目录。 | yarnfederation/ | |
yarn.registry.class | 要使用的注册表实现。 | org.apache.hadoop.registry.client.impl.FSRegistryOperationsService | |
yarn.client.application-client-protocol.poll-interval-ms | yarn客户端库用于轮询应用程序客户端协议的异步API的完成状态的时间间隔。 | 200 | |
yarn.client.application-client-protocol.poll-timeout-ms | YARN客户端等待预期状态更改发生的持续时间(以毫秒为单位)。-1表示无限制的等待时间。 | -1 | |
yarn.nodemanager.container-monitor.procfs-tree.smaps-based-rss.enabled | 通过/ proc / pid / stat计算的进程的RSS使用不是很准确,因为它包括进程的共享页面。/ proc / pid / smaps提供了有用的信息,如Private_Dirty,Private_Clean,Shared_Dirty,Shared_Clean,可用于计算更准确的RSS。启用此标志后,RSS将计算为Min(Shared_Dirty,Pss)+ Private_Clean + Private_Dirty。它排除了RSS计算中的只读共享映射。 | FALSE | |
yarn.log.server.url | 日志聚合服务器的URL | http://bj-rack001-hadoop003:19888/jobhistory/logs | |
yarn.log.server.web-service.url | 日志聚合服务器Web服务的URL | http://bj-rack001-hadoop003:8188/ws/v1/applicationhistory | |
yarn.tracking.url.generator | RM应用程序跟踪URL | ||
yarn.authorization-provider | 用于YarnAuthorizationProvider的类 | ||
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | 定义NM唤醒上载日志文件的频率。默认值为-1。默认情况下,应用程序完成后将上载日志。通过设置此配置,可以在应用程序运行时定期上载日志。可设置的最小滚动间隔秒数为3600。 | -1 | 3600 |
yarn.intermediate-data-encryption.enable | 在YARN级别启用/禁用中间数据加密。目前,只有FileSystemRMStateStore才能使用它来设置正确的文件系统安全属性。 | FALSE | |
yarn.nodemanager.webapp.cross-origin.enabled | 标记以在NM中启用跨源(CORS)支持。此标志需要将CORS过滤器初始化程序添加到core-site.xml中的过滤器初始化程序列表中。 | FALSE | |
yarn.cluster.max-application-priority | 定义群集中的最大应用程序优先级。如果提交的应用程序的优先级高于此值,则会将其重置为此最大值。 | 0 | |
yarn.nodemanager.log-aggregation.policy.class | 默认日志聚合策略类。应用程序可以通过LogAggregationContext覆盖它。此配置可以提供某些群集端默认行为,以便在应用程序未通过LogAggregationContext指定任何策略时,群集管理员可以全局调整策略。 | org.apache.hadoop.yarn.server.nodemanager.containermanager.logaggregation.AllContainerLogAggregationPolicy | |
yarn.nodemanager.log-aggregation.policy.parameters | 日志聚合策略的缺省参数。应用程序可以通过LogAggregationContext覆盖它。此配置可以提供某些群集端默认行为,以便在应用程序未通过LogAggregationContext指定任何策略时,群集管理员可以全局调整策略。 | ||
yarn.nodemanager.amrmproxy.enabled | 在节点管理器中启用/禁用AMRMProxyService。此服务用于拦截从应用程序主服务器到资源管理器的调用。 | FALSE | |
yarn.nodemanager.amrmproxy.address | AMRMProxyService侦听器的地址。 | 0.0.0.0:8049 | |
yarn.nodemanager.amrmproxy.client.thread-count | 用于处理AMRMProxyService请求的线程数。 | 25 | |
yarn.nodemanager.amrmproxy.interceptor-class.pipeline | 以逗号分隔的实现RequestInterceptor接口的类名列表。AMRMProxyService使用它来为应用程序创建请求处理管道。 | org.apache.hadoop.yarn.server.nodemanager.amrmproxy.DefaultRequestInterceptor | |
yarn.nodemanager.amrmproxy.ha.enable | 是否启用了AMRMProxy HA。 | FALSE | |
yarn.nodemanager.distributed-scheduling.enabled | 设置控制是否启用分布式调度。 | FALSE | |
yarn.resourcemanager.opportunistic-container-allocation.enabled | 设置控制是否启用机会性容器分配。 | FALSE | |
yarn.resourcemanager.opportunistic-container-allocation.nodes-used | 在为容器分配期间调度容器时,Opportunistic Container Allocator要使用的节点数。 | 10 | |
yarn.resourcemanager.nm-container-queuing.sorting-nodes-interval-ms | 计算负载最小的NM的频率。 | 1000 | |
yarn.resourcemanager.nm-container-queuing.load-comparator | 用于确定分布式调度的节点负载的比较器。 | QUEUE_LENGTH | |
yarn.resourcemanager.nm-container-queuing.queue-limit-stdev | 用于计算队列限制阈值的标准偏差值。 | 1.0f | |
yarn.resourcemanager.nm-container-queuing.min-queue-length | NodeManager中容器队列的最小长度。 | 5 | |
yarn.resourcemanager.nm-container-queuing.max-queue-length | NodeManager上容器队列的最大长度。 | 15 | |
yarn.resourcemanager.nm-container-queuing.min-queue-wait-time-ms | NodeManager上容器的最小队列等待时间。 | 10 | |
yarn.resourcemanager.nm-container-queuing.max-queue-wait-time-ms | NodeManager上容器队列的最大队列等待时间。 | 100 | |
yarn.nodemanager.opportunistic-containers-use-pause-for-preemption | 在NodeManager的容器队列中使用容器暂停作为抢占的抢占策略。 | FALSE | |
yarn.nodemanager.container.stderr.pattern | 错误文件名模式,用于标识容器的Log目录中包含容器错误日志的文件。由于错误文件重定向由客户端/ AM完成,因此yarn不会知道错误文件名。当容器执行返回非零值时,YARN使用此模式标识错误文件并将错误日志作为诊断结尾。文件名模式区分大小写,应与FileSystem.globStatus(Path)api的规范相匹配。如果多个文件名与模式匹配,则将选择与模式匹配的第一个文件。 | {*stderr*,*STDERR*} | |
yarn.nodemanager.container.stderr.tail.bytes | 需要加尾的容器错误文件的大小,以字节为单位。 | 4096 | |
yarn.node-labels.fs-store.impl.class | 选择节点标签存储的不同实现 | org.apache.hadoop.yarn.nodelabels.FileSystemNodeLabelsStore | |
yarn.resourcemanager.webapp.rest-csrf.enabled | 为RM Web应用程序启用CSRF筛选器 | FALSE | |
yarn.resourcemanager.webapp.rest-csrf.custom-header | 可选参数,指示用于CSRF保护的自定义标头名称。 | X-XSRF-Header | |
yarn.resourcemanager.webapp.rest-csrf.methods-to-ignore | 可选参数,指示不需要CSRF保护的HTTP方法列表 | GET,OPTIONS,HEAD | |
yarn.nodemanager.webapp.rest-csrf.enabled | 为NM Web应用程序启用CSRF筛选器 | FALSE | |
yarn.nodemanager.webapp.rest-csrf.custom-header | 可选参数,指示用于CSRF保护的自定义标头名称。 | X-XSRF-Header | |
yarn.nodemanager.webapp.rest-csrf.methods-to-ignore | 可选参数,指示不需要CSRF保护的HTTP方法列表 | GET,OPTIONS,HEAD | |
yarn.nodemanager.disk-validator | 磁盘验证程序的名称。 | basic | |
yarn.timeline-service.webapp.rest-csrf.enabled | 为时间轴服务Web应用程序启用CSRF筛选器 | FALSE | |
yarn.timeline-service.webapp.rest-csrf.custom-header | 可选参数,指示用于CSRF保护的自定义标头名称。 | X-XSRF-Header | |
yarn.timeline-service.webapp.rest-csrf.methods-to-ignore | 可选参数,指示不需要CSRF保护的HTTP方法列表 | GET,OPTIONS,HEAD | |
yarn.webapp.xfs-filter.enabled | 为YARN启用XFS筛选器 | TRUE | |
yarn.resourcemanager.webapp.xfs-filter.xframe-options | 指定xframe选项值的属性。 | SAMEORIGIN | |
yarn.nodemanager.webapp.xfs-filter.xframe-options | 指定xframe选项值的属性。 | SAMEORIGIN | |
yarn.timeline-service.webapp.xfs-filter.xframe-options | 指定xframe选项值的属性。 | SAMEORIGIN | |
yarn.resourcemanager.node-removal-untracked.timeout-ms | 在声明未跟踪之后,最少的时间(毫秒),非活动(退役或关闭)节点可以保留在资源管理器的节点列表中。当且仅当RM上的包含和排除nodemanager列表不存在时,节点才会被标记为未跟踪。每个超时间隔或每10分钟检查所有非活动节点两次,以较小者为准,并进行适当标记。调用refreshNodes命令(正常或其他)时也会这样做。 | 60000 | |
yarn.resourcemanager.application-timeouts.monitor.interval-ms | RMAppLifetimeMonitor服务使用此值作为监视间隔 | 3000 | |
yarn.app.attempt.diagnostics.limit.kc | 定义应用程序尝试的诊断消息的限制,以千字符为单位(字符数* 1024)。使用ZooKeeper存储应用程序状态行为时,限制诊断消息的大小以防止YARN压倒ZooKeeper非常重要。如果将yarn.resourcemanager.state-store.max-completed-applications设置为较大的数字,则可能需要减小此属性的值以限制存储的总数据。 | 64 | |
yarn.timeline-service.http-cross-origin.enabled | 用于在时间轴服务v2中为时间轴服务v1.x或时间线读取器启用跨源(CORS)支持的标志。对于时间轴服务v2,还要将org.apache.hadoop.security.HttpCrossOriginFilterInitializer添加到core-site.xml中的配置hadoop.http.filter.initializers。 | FALSE | |
yarn.scheduler.queue-placement-rules | 以逗号分隔的PlacementRules列表,用于确定某些用户提交的应用程序如何映射到某些队列。默认为user-group,对应于UserGroupMappingPlacementRule。 | user-group | |
yarn.timeline-service.entity-group-fs-store.with-user-dir | TimelineClient 1.5配置是否在用户目录中存储活动应用程序的时间轴数据,即$ {yarn.timeline-service.entity-group-fs-store.active-dir} / $ {user.name} | FALSE | |
yarn.router.clientrm.interceptor-class.pipeline | 以逗号分隔的实现RequestInterceptor接口的类名列表。这由RouterClientRMService用于为用户创建请求处理管道。 | org.apache.hadoop.yarn.server.router.clientrm.DefaultClientRequestInterceptor | |
yarn.router.pipeline.cache-max-size | Router ClientRM服务和RMAdmin服务的LRU缓存大小。 | 25 | |
yarn.router.rmadmin.interceptor-class.pipeline | 以逗号分隔的实现RequestInterceptor接口的类名列表。这由RouterRMAdminService用于为用户创建请求处理管道。 | org.apache.hadoop.yarn.server.router.rmadmin.DefaultRMAdminRequestInterceptor | |
yarn.router.bind-host | 服务器将绑定到的实际地址。如果设置了此可选地址,RPC和webapp服务器将分别绑定到此地址和yarn.router.address和yarn.router.webapp.address中指定的端口。这对于使路由器通过设置为0.0.0.0来监听所有接口非常有用。 | ||
yarn.router.webapp.interceptor-class.pipeline | 以逗号分隔的实现RequestInterceptor接口的类名列表。这由RouterWebServices用于为用户创建请求处理管道。 | org.apache.hadoop.yarn.server.router.webapp.DefaultRequestInterceptorREST | |
yarn.router.webapp.address | Router Web应用程序的http地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 | 0.0.0.0:8089 | |
yarn.router.webapp.https.address | Router Web应用程序的https地址。如果仅提供主机作为值,则webapp将在随机端口上提供。 | 0.0.0.0:8091 | |
yarn.resourcemanager.display.per-user-apps | 标记以允许将每个用户的应用程序显示为管理员配置。 | FALSE | |
yarn.scheduler.configuration.store.class | 用于调度程序配置的配置存储的类型。默认为“file”,它使用基于文件的capacity-scheduler.xml来检索和更改调度程序配置。要启用基于API的调度程序配置,请使用“内存”(在内存中,在重新启动时不存在持久性),“leveldb”(基于leveldb的存储)或“zk”(基于zookeeper的存储)。基于API的配置仅在使用支持可变配置的调度程序时才有用。目前只有容量调度程序支持此功能。 | file | |
yarn.scheduler.configuration.mutation.acl-policy.class | 如果使用可变配置提供程序,则用于配置变异ACL策略的类。控制是否允许变异请求。DefaultConfigurationMutationACLPolicy检查请求者是否为YARN管理员。 | org.apache.hadoop.yarn.server.resourcemanager.scheduler.DefaultConfigurationMutationACLPolicy | |
yarn.scheduler.configuration.leveldb-store.path | 当yarn.scheduler.configuration.store.class配置为“leveldb”时,配置存储的LevelDB实现的存储路径。 | ${hadoop.tmp.dir}/yarn/system/confstore | |
yarn.scheduler.configuration.leveldb-store.compaction-interval-secs | 当yarn.scheduler.configuration.store.class配置为“leveldb”时,LevelDB配置的压缩间隔以秒为单位。默认是一天。 | 86400 | |
yarn.scheduler.configuration.store.max-logs | 当yarn.scheduler.configuration.store.class配置为“leveldb”或“zk”时,配置存储中保留的配置更改日志条目的最大数量。两者的默认值均为1000。 | 1000 | |
yarn.scheduler.configuration.zk-store.parent-path | 使用基于zookeeper的配置存储时,配置存储的ZK根节点路径。 | /confstore |
以上是关于Hadoop2.7.7 API: yarn-site.xml 解析的主要内容,如果未能解决你的问题,请参考以下文章
Hadoop2.7.7 centos7 完全分布式 配置与问题随记