如何修改linux单进程能够打开的最大文件句柄数

Posted 2023-04-16

修改文件句柄数在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。

对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有
点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files
open”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：

1.lsof -n |awk 'print $2'|sort|uniq -c |sort -nr|more

在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：

1.# lsof -n|awk 'print $2'|sort|uniq -c |sort -nr|more
2. 131 24204
3. 57 24244
4. 57 24231
5. 56 24264

其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。

1.ps -aef|grep 24204
2.mysql 24204 24162 99 16:15 ? 00:24:25 /usr/sbin/mysqld

哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。

但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：

1.ulimit -HSn 4096

以
上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响
应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，，可以修改 /etc/profile
把上面命令加到最后。(findsun提出的办法比较合理)

/////////////////////////////////////////////////////////////////////////////

在 Linux下面部署应用的时候，有时候会遇上Socket/File: Can't open so many
files的问题，其实Linux是有文件句柄限制的（就像WinXP？），而且默认不是很高，一般都是1024，作为一台生产服务器，其实很容易就达到
这个数量，因此我们需要把这个值改大一些。

大概知道ulimit这个命令是相关的，上Google搜索了一下，大多数说的很含糊，也没有统一说一下，经过两个小时看了不少文章终于弄清楚ulimit相关的一些配置问题。

我们可以用ulimit -a来查看所有限制值，我只关心文件句柄数量的问题

open files (-n) 1024

这个就是限制数量

这里，有很多ulimit的文章都说的很含糊，究竟这个1024是系统的限制，还是用户的限制呢。其实，这个是用户限制来的，完整的说法，应该是当前用户准备要运行的程序的限制。

1、这个限制是针对单个程序的限制

2、这个限制不会改变之前已经运行了的程序的限制

3、对这个值的修改，退出了当前的shell就会消失

比如说，我先运行了一个程序A，然后通过ulimit修改了限制为2048，然后运行B，然后退出了shell再登录，然后运行C。那就只有B可以打开2048个句柄。

如果我们需要改变整体的限制值，或者我们运行的程序是系统启动的，应该怎么处理呢

其中一个方法，是想ulimit修改命令放入/etc/profile里面，但是这个做法并不好

正确的做法，应该是修改/etc/security/limits.conf

里面有很详细的注释，比如

* soft nofile 2048

* hard nofile 32768

就可以将文件句柄限制统一改成软2048，硬32768

这里涉及另外一个问题，什么是软限制，什么是硬限制

硬限制是实际的限制，而软限制，是warnning限制，只会做出warning

其实ulimit命令本身就有分软硬设置，加-H就是硬，加-S就是软

默认显示的是软限制，如果修改的时候没有加上的话，就是两个一起改

配置文件最前面的一位是domain，设置为星号代表全局，另外你也可以针对不同的用户做出不同的限制

修改了，重新登录用ulimit一开就立刻生效了，不过之前启动过的程序要重新启动才能使用新的值。我用的是CentOS，似乎有些系统需要重启才能生效。

ulimit其实就是对单一程序的限制

那系统总限制呢

其实是在这里，/proc/sys/fs/file-max

可以通过cat查看目前的值，echo来立刻修改

另外还有一个，/proc/sys/fs/file-nr

只读，可以看到整个系统目前使用的文件句柄数量

查找文件句柄问题的时候，还有一个很实用的程序lsof

可以很方便看到某个进程开了那些句柄

也可以看到某个文件/目录被什么进程占用了。 参考技术A ulimit -n 12345
或者直接修改 /etc/security/limits.conf 配置文件，用户的 nofiles项

文件句柄概述

Linux环境下句柄的理解
在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。
对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files open”的错误提示。

备注：
Root用户打开文件数(文件句柄数)受限于：
cat /proc/sys/fs/file-max
1405418
非root用户打开文件数受限于：
Ulimit -n

如何知道当前进程打开了多少个文件句柄呢？
0、查看当前进程总数
lsof -nNPi | wc -l
-N指打开网络文件
-n 不将IP转换为hostname
-i 用以显示符合条件的进程情况?

1、查看当前每个进程打开文件句柄数的最大的几个进程
lsof -n |awk ‘{print $2}‘|sort|uniq -c |sort -nr|head -n 10 ???
1093 4829 #个数 进程pid
1093 26946
1093 26912

2、在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：

lsof -n|awk ‘{print $2}‘|sort|uniq -c |sort -nr|more?????

??? 131 24204???
???? 57 24244???
???? 57 24231???
???? 56 24264???
备注：其中第一行是打开的文件句柄数量，第二行是进程号。
系统限定的最大打开文件数
cat /proc/sys/fs/file-max
1405418

3、得到进程号后，我们可以通过ps命令得到进程的详细内容。
ps -aef|grep 24204???
mysql??? 24204 24162 99 16:15 ???????? 00:24:25 /usr/sbin/mysqld???
哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。
备注：
如果是其他程序，需要看看该程序是哪个用户启动，然后切换到该用户下,
su - 用户
Ulimit -n

Root用户打开文件数不受ulimit -n影响

但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。

4、方法如下，以root用户运行以下命令：
ulimit -HSn 4096???
以上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，做一下修改
tail -n 5 /etc/security/limits.conf

End of file

• hard nofile 204800
• soft nofile 204800

概念理解：
1.句柄就是一个标识符，只要获得对象的句柄，我们就可以对对象进行任意的操作。
2.句柄不一定是指针。操作系统用句柄可以找到一块内存，这个句柄可能是标识符，例如map的key，也可能是指针，看操作系统怎么处理的了。
fd算是在某种程度上替代句柄吧；
Linux?有相应机制，但没有统一的句柄类型，各种类型的系统资源由各自的类型来标识，由各自的接口操作。
3.在操作系统层面上，文件操作也有类似于FILE的一个概念，在Linux里，这叫做文件描述符(File Descriptor)，而在Windows里，叫做句柄(Handle)(以下在没有歧义的时候统称为句柄)。用户通过某个函数打开文件以获得句柄，此后用户操纵文件皆通过该句柄进行。
设计这么一个句柄的原因在于句柄可以防止用户随意读写操作系统内核的文件对象。无论是Linux还是Windows，文件句柄总是和内核的文件对象相关联的，但如何关联细节用户并不可见。内核可以通过句柄来计算出内核里文件对象的地址，但此能力并不对用户开放。
?
下面举一个实际的例子，在Linux中，值为0、1、2的fd分别代表标准输入、标准输出和标准错误输出。在程序中打开文件得到的fd从3开始增长。?fd具体是什么呢?在内核中，每一个进程都有一个私有的“打开文件表”，这个表是一个指针数组，每一个元素都指向一个内核的打开文件对象。而fd，就是这?个表的下标。当用户打开一个文件时，内核会在内部生成一个打开文件对象，并在这个表里找到一个空项，让这一项指向生成的打开文件对象，并返回这一项的下标?作为fd。由于这个表处于内核，并且用户无法访问到，因此用户即使拥有fd，也无法得到打开文件对象的地址，只能够通过系统提供的函数来操作。
?
在C语言里，操纵文件的渠道则是FILE结构，不难想象，C语言中的FILE结构必定和fd有一对一的关系，每个FILE结构都会记录自己唯一对应的fd。

句柄在程序设计中,句柄是一种特殊的智能指针?。当一个应用程序?要引用其他系统(如数据库、操作系统?)所管理的内存?块或对象?时，就要使用句柄。
句柄与普通指针?的区别在于，指针包含的是引用对象?的内存地址?，而句柄则是由系统所管理的引用标识，该标识可以被系统重新定位到一个内存地址?上。这种间接访问对象?的模式增强了系统对引用对象?的控制。
如今，内存?容量的增大和虚拟内存?算法使得更简单的指针?愈加受到青睐，而指向另一指针的那类句柄受到冷淡。尽管如此，许多操作系统?仍然把指向私有对象?的指针以及进程传递给客户端?的内部数组?下标称为句柄。