2021年大数据Hadoop（二十九）：​​​​​​​关于YARN常用参数设置

Posted 2021-06-27 Lansonli

全网最详细的Hadoop文章系列，强烈建议收藏加关注！

后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。

目录

本系列历史文章

前言

关于yarn常用参数设置

设置container分配最小内存

设置container分配最大内存

设置每个container的最小虚拟内核个数

设置每个container的最大虚拟内核个数

设置NodeManager可以分配的内存大小

定义每台机器的内存使用大小

定义交换区空间可以使用的大小

---

本系列历史文章

2021年大数据Hadoop（二十八）：YARN的调度器Scheduler

2021年大数据Hadoop（二十七）：YARN运行流程

2021年大数据Hadoop（二十六）：YARN三大组件介绍

2021年大数据Hadoop（二十五）：YARN通俗介绍和基本架构

2021年大数据Hadoop（二十四）：MapReduce高阶训练

2021年大数据Hadoop（二十三）：MapReduce的运行机制详解

2021年大数据Hadoop（二十二）：MapReduce的自定义分组

2021年大数据Hadoop（二十一）：MapReuce的Combineer

2021年大数据Hadoop（二十）：MapReduce的排序和序列化

2021年大数据Hadoop（十九）：MapReduce分区

2021年大数据Hadoop（十八）：MapReduce程序运行模式和深入解析

2021年大数据Hadoop（十七）：MapReduce编程规范及示例编写

2021年大数据Hadoop（十六）：MapReduce计算模型介绍

2021年大数据Hadoop（十五）：Hadoop的联邦机制 Federation

2021年大数据Hadoop（十四）：HDFS的高可用机制

2021年大数据Hadoop（十三）：HDFS意想不到的其他功能

2021年大数据Hadoop（十二）：HDFS的API操作

2021年大数据Hadoop（十一）：HDFS的元数据辅助管理

2021年大数据Hadoop（十）：HDFS的数据读写流程

2021年大数据Hadoop（九）：HDFS的高级使用命令

2021年大数据Hadoop（八）：HDFS的Shell命令行使用

2021年大数据Hadoop（七）：HDFS分布式文件系统简介

2021年大数据Hadoop（六）：全网最详细的Hadoop集群搭建

2021年大数据Hadoop（五）：Hadoop架构

2021年大数据Hadoop（四）：Hadoop发行版公司

2021年大数据Hadoop（三）：Hadoop国内外应用

2021年大数据Hadoop（二）：Hadoop发展简史和特性优点

2021年大数据Hadoop（一）：Hadoop介绍

 

前言

 2021年全网最详细的大数据笔记，轻松带你从入门到精通，该栏目每天更新，汇总知识分享

 

关于yarn常用参数设置

 

设置container分配最小内存

yarn.scheduler.minimum-allocation-mb 1024  

给应用程序container分配的最小内存

 

设置container分配最大内存

yarn.scheduler.maximum-allocation-mb 8192 

给应用程序container分配的最大内存

 

设置每个container的最小虚拟内核个数

yarn.scheduler.minimum-allocation-vcores 1

每个container默认给分配的最小的虚拟内核个数

 

设置每个container的最大虚拟内核个数

yarn.scheduler.maximum-allocation-vcores 32 

每个container可以分配的最大的虚拟内核的个数

 

设置NodeManager可以分配的内存大小

yarn.nodemanager.resource.memory-mb 8192 nodemanager 

可以分配的最大内存大小，默认8192Mb

 

定义每台机器的内存使用大小

yarn.nodemanager.resource.memory-mb 8192

 

定义交换区空间可以使用的大小

交换区空间就是讲一块硬盘拿出来做内存使用,这里指定的是nodemanager的2.1倍

yarn.nodemanager.vmem-pmem-ratio 2.1

---

本博客大数据系列文章会一直每天更新，记得收藏加关注喔~