limit-进程句柄限制

Posted 2020-07-28 zengkefu

 

 

 

在Linux下面部署应用的时候，有时候会遇上Socket/File: Can’t open so many files的问题，比如还有Squid做代理,当文件打开数到900多时速能就非常快的下降，有可能打不开网页.

Linux是有文件句柄限制的，而且Linux默认不是很高，一般都是1024，生产服务器用其实很容易就达到这个数量.
查看方法
我们可以用ulimit -a来查看所有限制值
[[email protected] ~]# ulimit -a
core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
max nice                        (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 4096
max locked memory       (kbytes, -l) 32
max memory size         (kbytes, -m) unlimited
open files                      (-n) 1024
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
max rt priority                 (-r) 0
stack size              (kbytes, -s) 10240
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited||<
其中 "open files (-n) 1024 "是Linux操作系统对一个进程打开的文件句柄数量的限制(也包含打开的SOCKET数量,可影响mysql的并发连接数目).这个值可用ulimit 命令来修改,但ulimit命令修改的数值只对当前登录用户的目前使用环境有效,系统重启或者用户退出后就会失效.
系统总限制是在这里，/proc/sys/fs/file-max.可以通过cat查看目前的值，修改/etc/sysctl.conf 中也可以控制.
另外还有一个，/proc/sys/fs/file-nr，可以看到整个系统目前使用的文件句柄数量
查找文件句柄问题的时候，还有一个很实用的程序lsof.可以很方便看到某个进程开了那些句柄.也可以看到某个文件/目录被什么进程占用了.
修改方法
若要令修改ulimits的数值永久生效,则必须修改配置文档,可以给ulimit修改命令放入/etc/profile里面，这个方法实在是不方便,还 有一个方法是修改/etc/sysctl.conf .我修改了，测试过,但对用户的ulimits -a 是不会改变的。只是/proc/sys/fs/file-max的值变了.(我给命令放到rc.local中失败)
我认为正确的做法，应该是修改/etc/security/limits.conf
里面有很详细的注释，比如:
* soft nofile 32768
* hard nofile 65536
也可以直接运行下面这个shell。直接copy到你的终端中运行就好了.
echo -ne "
* soft nofile 65536
* hard nofile 65536
" >>/etc/security/limits.conf
就可以将文件句柄限制统一改成软32768，硬65536.配置文件最前面的是指domain，设置为星号代表全局，另外你也可以针对不同的用户做出不同的限制
注意.这个当中的硬限制是实际的限制，而软限制，是warnning限制，只会做出warning.其实ulimit命令本身就有分软硬设置，加-H就是硬，加-S就是软
默认显示的是软限制，如果运行ulimit命令修改的时候没有加上的话，就是两个参数一起改变.
生效
修改完重新登录就可以见到.(我的系统是Centos5.1.修改了，重新登录后就立刻生效.可以用ulimit -a 查看确认.)
 
 
limits.conf的工作原理：
　　limits.conf的后端是这样工作的：limits.conf是pam_limits.so的配置文件，然后/etc/pam.d/下的应用程 序调用pam_***.so模块。譬如说，当用户访问服务器，服务程序将请求发送到PAM模块，PAM模块根据服务名称在/etc/pam.d目录下选择 一个对应的服务文件，然后根据服务文件的内容选择具体的PAM模块进行处理。
　　例：限制admin用户登录到sshd的服务不能超过2个
　　在/etc/pam.d/sshd 中添加 session required pam_limits.so
　　在/etc/security/limits.conf中添加 admin - maxlogins 2
　　查看应用程序能否被PAM支持，用ldd
　　limits.conf文件的参数
　　Limits.conf文件的参数可以设置成以下两种形式之一：
　　暂时地，适用于通过 ulimit 命令登录 shell 会话期间。
　　永久地，通过将一个相应的 ulimit 语句添加到由登录 shell 读取的文件之一（例如 ~/.profile），即特定于 shell 的用户资源文件；或者通过编辑 /etc/security/limits.conf。
　　1.core - 限制内核文件的大小
　　何谓core文件,当一个程序崩溃时，在进程当前工作目录的core文件中复制了该进程的存储图像。core文件仅仅是一个内存映象(同时加上调试信息)，主要是用来调试的。 core文件是个二进制文件，需要用相应的工具来分析程序崩溃时的内存映像。
　　系统默认core文件的大小为0，所以没有创建。可以用ulimit命令查看和修改core文件的大小。
　　
　　$ulimit -c
　　0
　　$ ulimit -c 1000
　　$ ulimit -c
　　1000
　　-c 指定修改core文件的大小，1000指定了core文件大小。也可以对core文件的大小不做限制，如：
　　
　　# ulimit -c unlimited
　　#ulimit -c
　　unlimited
　　如果想让修改永久生效，则需要修改配置文件，如 .bash_profile、/etc/profile或/etc/security/limits.conf。
　　2.nofile - 打开文件的最大数目
　　对于需要做许多套接字连接并使它们处于打开状态的应用程序而言，最好通过使用 ulimit –n，或者通过设置nofile 参数，为用户把文件描述符的数量设置得比默认值高一些。

 

Linux---进程句柄限制总结

 

受网上很多帖子影响，一直认为Unix、Linux下单个进程打开句柄数目上限是65535，不能超过这个值，最近从网上看到另一种描述，在SUSE、RedHat都测试了一下，单个进程完全可以支持到100万以上的句柄。

关于系统文件句柄的几个限制从大往小排列：

/proc/sys/fs/nr_open

系统文件系统支持文件句柄总数上限，默认值1048576（1M），Linux2.6.25开始增加该内核参数，用于替换内核宏NR_OPEN（1048576），该值上限受限于系统内存。

在linux 2.26.32平台执行“man 5 proc”没有看到“/proc/sys/fs/nr_open”，只看到NR_OPEN参数限制/proc/sys/fs/file-max。

/proc/sys/fs/file-max

系统文件系统支持文件句柄总数最大值，必须小于/proc/sys/fs/nr_open或NR_OPEN，增加该值时，必须同步修改/proc/sys/fs/inode-max = 4*/proc/sys/fs/file-max。

ulimit -Hn

单个进程句柄数硬上限，默认值1024，不能大于/proc/sys/fs/file-max，修改方法不多讲。

ulimit -Hn

单个进程句柄数软上限，默认值1024，不能大于“ulimit -Hn”硬上限，修改方法不多讲。

FD_SETSIZE

Linux环境一个C语言的宏定义，在/usr/include/bits/typesize.h或有定义，默认值1024，到目前为止，我只确认该宏定义限制FD_SET()、FD_CLR()操作的文件描述符值，猜测应该是Linux早期版本遗留下来的一个限制。既然select()操作已经淘汰了，这个宏定义应该也没用了。如果要使用select()系列操作，可以在gcc编译时定义该宏“-DFD_SETSIZE=65535”。

手工修改操作系统句柄，请按照下表修改配置：

操作系统	查看句柄数方法	修改句柄数方法
Linux	ulimit -Sn    ---查看句柄数软限制 ulimit -Hn    ---查看句柄数硬限制	检查/etc/security/limits.conf文件，修改或增加如下配置： *                hard    nofile          65536 *                soft    nofile          65535 在/etc/pam.d/su、/etc/pam.d/xdm、/etc/pam.d/login文件增加如下配置： session  required      pam_limits.so
HP	kctune -q maxfiles ---查看句柄数软限制 kctune -q maxfiles_lim ---查看句柄数硬限制	执行命令修改： kctune maxfiles>=XXX XXX范围【32，maxfiles_lim】，maxfiles_lim的取值范围【32，1048576】，但是大于65535时，某些老版本的文件函数不兼容。 maxfiles修改后，必须重启操作系统生效。
Aix	ulimit -Sn    ---查看句柄数软限制 ulimit -Hn    ---查看句柄数硬限制	检查/etc/security/limits文件，增加修改如下配置： nofiles = -1 nofiles_hard=-1 在AIX6测试验证：即使配置为ulimited，单个进程只能打开65535个句柄。
Solaris	ulimit -Sn    ---查看句柄数软限制 ulimit -Hn    ---查看句柄数硬限制	检查/etc/system文件，增加修改如下配置： rlim_fd_max=65535 rlim_fd_cur=65535 修改后，需要重启机器生效。