可在啥文件中配置集群资源管理系统参数

Posted 2023-05-02

参考技术A 可在以下文件中配置集群资源管理系统参数：
1、core-site.xml，集群全局参数，用于定义系统级别的参数。
2、hdfs-site.xml，HDFS参数。
3、yarn-site.xml，集群资源管理系统参数。
4、mapred-site.xml，MapReduce参数。

Redis集群之优化系统参数

1.最大打开文件数量

（1）编辑资源限制文件，针对redis用户做资源访问控制，在文件尾加入最后两行，

　　sudo vim /etc/security/limits.conf

（2） sudo vim /pam.d/login 在文件尾加入一行

　　session required /lib/security/pam_limits.so

（3）确保/etc/pam.d/system-auth文件有下面内容，这一行让limit.conf被读取
　　session required /lib/security/$ISA/pam_limits.so

（4） 要让配置生效，需要重新登录shell

2. 修改tcp连接等待队列长度

编辑系统控制文件，加入tcp最长队列参数

$ sudo vim /etc/sysctl.conf

net.core.somaxconn=512

同步系统参数

$ sudo sysctl -p

3.sudo sysctl vm.overcommit_memory=1

4.关闭透明大页

（1）具有sudo权限的用户 （尝试过echo 命令 ，权限不允许）

　　sudo vim  /etc/grub2.cfg 文件尾加上 

　　transparent_hugepage=never

（2）root用户

　　# echo "transparent_hugepage=never">> /etc/grub2.cfg

　　# echo never>/sys/kernel/mm/transparent_hugepage/enabled

（3）验证结果 返回 0 说明生效

　　$ grep -i HugePages_Total /proc/meminfo
　　HugePages_Total:       0

　　$ cat /proc/sys/vm/nr_hugepages
　　0

5. 再次启动集群，日志中已不存在警告信息