hadoop安装hadoop之前的操作

Posted 2021-03-04 北漂-boy

1、关闭磁盘的noatime、nodelalloc 属性

　　在/etc/fstab中，添加磁盘noatime、nodelalloc 属性，如下：

UUID=65a26878-c82e-4296-a134-a686248155f2 /data2 xfs defaults,noatime,nodelalloc 0 0

注：

noatime属性已经包含nodirtime属性,表示在写入数据的时候不记录相关属性；

nodelalloc：表示关闭磁盘的延迟分配，当开启延迟分配的时候，可以减少数据磁盘的碎片率以及增加读写性能，但是在一定程度上会增加数据的丢失率(当磁盘损坏或者服务器宕机)

 2、修改数据磁盘保留块的数量比例

使用tune2fs -m 1 设备名字：表示修改磁盘数据块的可剩余空间为1%

 3、修改unimit限制

修改/etc/security/limits.conf文件，添加如下配置：

* - nofile 65535

修改/etc/security/limits.d/20-nproc.conf文件，添加如下配置

*          soft    nproc     unlimited

如何确定一个进程打开的文件描述符的数量

lsof -p 4500|wc -l
4500就是进程的pid

 

4、关闭ipv6

net.ipv6.bindv6only = 0
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1

注：这属于内核调优

5、关闭selinux、防火墙问题

 6、集群的ssh免密

7、集群hosts文件添加

8、时间同步