文件描述符与FILE

Posted 2020-09-23 滴巴戈

1. 文件描述符（重点）

在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。

1.1概念介绍

文件描述符的操作(如: open()，creat()，close()，read()）)返回的是一个文件描述符,它是int类型的整数，即fd，其本质是文件描述符表中的下标，它起到一个索引的作用，进程通过PCB中的文件描述符表找到该fd所指向的文件指针filp。每个进程在PCB（Process Control Block）即进程控制块中都保存着一份文件描述符表，文件描述符就是这个表的索引，文件描述表中每个表项都有一个指向已打开文件的指针; 已打开的文件在内核中用file结构体表示，文件描述符表中的指针指向file结构体。每打开一个文件，fd默认从最小的未被使用的下标开始分配。文件描述符的缺点：不能移植到UNIX以外的系统上去，也不直观。

下面画张图来表示它们之间的关系：

 而每个文件中又主要包含以下这些信息：

1.2图表解释

在file结构体中维护File Status Flag（file结构体的成员f_flags）和当前读写位置（file结构体的成员f_pos）。在上图中，进程1和进程2都打开同一文件，但是对应不同的file结构体，因此可以有不同的File Status Flag和读写位置。file结构体中比较重要的成员还有f_count，表示引用计数（Reference Count），后面我们会讲到，dup、fork等系统调用会导致多个文件描述符指向同一个file结构体，例如有fd1和fd2都引用同一个file结构体，那么它的引用计数就是2，当close(fd1)时并不会释放file结构体，而只是把引用计数减到1，如果再close(fd2)，引用计数就会减到0同时释放file结构体，这才真的关闭了文件。

每个file结构体都指向一个file_operations结构体，这个结构体的成员都是函数指针，指向实现各种文件操作的内核函数。比如在用户程序中read一个文件描述符，read通过系统调用进入内核，然后找到这个文件描述符所指向的file结构体，找到file结构体所指向的file_operations结构体，调用它的read成员所指向的内核函数以完成用户请求。在用户程序中调用lseek、read、write、ioctl、open等函数，最终都由内核调用file_operations的各成员所指向的内核函数完成用户请求。file_operations结构体中的release成员用于完成用户程序的close请求，之所以叫release而不叫close是因为它不一定真的关闭文件，而是减少引用计数，只有引用计数减到0才关闭文件。对于同一个文件系统上打开的常规文件来说，read、write等文件操作的步骤和方法应该是一样的，调用的函数应该是相同的，所以图中的三个打开文件的file结构体指向同一个file_operations结构体。如果打开一个字符设备文件，那么它的read、write操作肯定和常规文件不一样，不是读写磁盘的数据块而是读写硬件设备，所以file结构体应该指向不同的file_operations结构体，其中的各种文件操作函数由该设备的驱动程序实现。

每个file结构体都有一个指向dentry结构体的指针，“dentry”是directory entry（目录项）的缩写。我们传给open、stat等函数的参数的是一个路径，例如/home/akaedu/a，需要根据路径找到文件的inode。为了减少读盘次数，内核缓存了目录的树状结构，称为dentry cache，其中每个节点是一个dentry结构体，只要沿着路径各部分的dentry搜索即可，从根目录/找到home目录，然后找到akaedu目录，然后找到文件a。dentry cache只保存最近访问过的目录项，如果要找的目录项在cache中没有，就要从磁盘读到内存中。

每个dentry结构体都有一个指针指向inode结构体。inode结构体保存着从磁盘inode读上来的信息。在上图的例子中，有两个dentry，分别表示/home/akaedu/a和/home/akaedu/b，它们都指向同一个inode，说明这两个文件互为硬链接。inode结构体中保存着从磁盘分区的inode读上来信息，例如所有者、文件大小、文件类型和权限位等。每个inode结构体都有一个指向inode_operations结构体的指针，后者也是一组函数指针指向一些完成文件目录操作的内核函数。和file_operations不同，inode_operations所指向的不是针对某一个文件进行操作的函数，而是影响文件和目录布局的函数，例如添加删除文件和目录、跟踪符号链接等等，属于同一文件系统的各inode结构体可以指向同一个inode_operations结构体。

inode结构体有一个指向super_block结构体的指针。super_block结构体保存着从磁盘分区的超级块读上来的信息，例如文件系统类型、块大小等。super_block结构体的s_root成员是一个指向dentry的指针，表示这个文件系统的根目录被mount到哪里，在上图的例子中这个分区被mount到/home目录下。

file、dentry、inode、super_block这几个结构体组成了VFS（虚拟文件系统VFS，Virtual Filesystem）的核心概念。

1.3对文件描述符的操作

（1）.查看Linux文件描述符

 1 [root@localhost ~]# sysctl -a | grep -i file-max --color
 3 fs.file-max = 392036
 5 [root@localhost ~]# cat /proc/sys/fs/file-max
 7 392036
 9 [root@localhost ~]# ulimit -n
11 1024
13 [root@localhost ~]#

Linux下最大文件描述符的限制有两个方面，一个是用户级的限制，另外一个则是系统级限制。

系统级限制：sysctl命令和proc文件系统中查看到的数值是一样的，这属于系统级限制，它是限制所有用户打开文件描述符的总和

用户级限制：ulimit命令看到的是用户级的最大文件描述符限制，也就是说每一个用户登录后执行的程序占用文件描述符的总数不能超过这个限制

（2）.修改文件描述符的值

1 [root@localhost ~]# ulimit-SHn 10240
2 [root@localhost ~]# ulimit  -n
3 10240
4 [root@localhost ~]#

以上的修改只对当前会话起作用，是临时性的，如果需要永久修改，则要修改如下：

1 [root@localhost ~]# grep -vE\'^$|^#\' /etc/security/limits.conf
2 *                hard nofile                  4096
3 [root@localhost ~]#

1 //默认配置文件中只有hard选项，soft 指的是当前系统生效的设置值，hard 表明系统中所能设定的最大值
2 [root@localhost ~]# grep -vE\'^$|^#\' /etc/security/limits.conf
3 *      hard         nofile       10240
4 *      soft         nofile      10240
5 [root@localhost ~]#
6 // soft<=hard soft的限制不能比hard限制高

（3）.修改系统限制

1 [root@localhost ~]# sysctl -wfs.file-max=400000
2 fs.file-max = 400000
3 [root@localhost ~]# echo350000 > /proc/sys/fs/file-max  //重启后失效
4 [root@localhost ~]# cat /proc/sys/fs/file-max
5 350000
6 [root@localhost ~]#

//以上是临时修改文件描述符
//永久修改把fs.file-max=400000添加到/etc/sysctl.conf中，使用sysctl -p即可

1.4用程序查看文件描述符

下面的程序，打开/home/shenlan/hello.c文件，如果此目录下没有hello.c文件，程序自动创建，程序中返回的文件描述符为3。因为进程启动时，打开了标准输入（0）、标准输出（1）和标准出错处理（2）三个文件，fd默认从最小的未被使用的下标开始分配，因此返回的文件描述符为3。

 1 #include<stdio.h>
 2 #include<sys/types.h>
 3 #include<sys/stat.h>
 4 #include<fcntl.h>
 5 #include<stdlib.h>
 6 int main()
 7 {
 8        int fd;
 9        if((fd = open("/home/shenlan/fd.c",O_CREAT|O_WRONLY|O_TRUNC,0611))<0){
10               perror("openfile fd.c error!\\n");
11               exit(1);
12        }
13        else{
14               printf("openfile fd.c success:%d\\n",fd);
15        }
16        if(close(fd) < 0){
17               perror("closefile fd.c error!\\n");
18               exit(1);
19        }
20        else
21               printf("closefile fd.c success!\\n");
22        exit(0);
23 }

执行结果：

1.5进程打开一个文件的具体流程    

进程通过系统调用open( )来打开一个文件，实质上是获得一个文件描述符，以便进程通过文件描述符为连接对文件进行其他操作。进程打开文件时，会为该文件创建一个file对象，并把该file对象存入进程打开文件表中（文件描述符数组），进而确定了所打开文件的文件描述符。        open( )操作在内核里通过sys_open( )实现的，sys_open( )将创建文件的dentry、inode和file对象，并在file_struct结构体的进程打开文件表fd_array[NR_OPEN_DEFAULT]中寻找一个空闲表项，然后返回这个表项的下标（索引），即文件描述符。创建文件的file对象时，将file对象的f_op指向了所属文件系统的操作函数集file_operations，而该函数集又来自具体文件的i节点，于是虚拟文件系统就与实际文件系统的操作衔接起来了。

 2.C标准库中的FILE结构和文件描述符

C语言中使用的是文件指针而不是文件描述符做为I/O的句柄."文件指针(file pointer)"指向进程用户区中的一个被称为FILE结构的数据结构。FILE结构包括一个缓冲区和一个文件描述符值.而文件描述符值是文件描述符表中的一个索引.从某种意义上说文件指针就是句柄的句柄。流(如: fopen)返回的是一个FILE结构指针, FILE结构是包含有文件描述符的，FILE结构函数可以看作是对fd直接操作的系统调用的封装, 它的优点是带有I/O缓存。

从文件描述符fd 到文件流 FILE* 的函数是
FILE* fdopen(int filedes,const char* mode);

早期的C标准库中，FILE在stdio.h中定义；Turbo C中，参见谭浩强的《C程序设计》，FILE结构体中包含成员fd，即文件描述符。亦可以在安装的Ubuntu系统的/usr/include/stdio.h中找到struct _IO_FILE结构体，这个结构体比较复杂，我们只关心需要的部分-文件描述符，但是在这个的结构体中，我们并没有发现与文件描述符相关的诸如fd成员变量。此时，类型为int的_fileno结构体成员引起了我们的注意，但是不能确定其为文件描述符。因此写个程序测试是最好的办法，可以用以下的代码测试：

 1 #include<stdio.h>
 2 #include<stdlib.h>
 3 #include<sys/types.h>
 4 #include<sys/stat.h>
 5 #include<fcntl.h>
 6 int main( )
 7 {
 8        char buf[50] = {"ILOVE this game!"};
 9        FILE *myfile;
10 
11        myfile = fopen("2.txt","w+");
12        if(!myfile){
13               printf("error:openfile failed!\\n");
14        }
15        printf("The openedfile\'s descriptor is %d\\n",myfile->_fileno);
16        if(write(myfile->_fileno,buf,50)< 0){
17               perror("error:writefile failed!\\n");
18               exit(1);
19        }else{
20               printf("writefile successed!\\n");
21        }
22        exit(0);
23 }

程序中，使用fopen函数以读写打开2.txt文件，如果不存在2.txt文件，则创建此文件。并将其返回的FILE指针myfile。使用printf向标准终端打印出myfile->_fileno的值，并将myfile->_fileno作为文件描述符传递给write系统调用，向打开的文件写入缓冲区数据。然后使用cat命令查看2.txt的内容。执行的结果如图所示。_fileno的值为3，因为标准输入、输出、出错为0、1、2。输出结果如下：
    因此，_fileno成员即为操作系统打开文件返回的句柄（windows系统）或文件描述符。深入学习可以阅读人民邮电出版社《C标准库》。当然还可以阅读/glibc-2.9/manual/io.txti文件。Linux中，文件的描述符分配是从小到大逐个查询文件描述符是否已经使用，然后再分配，也可以写程序测试。

 文件描述符表也称文件描述符数组，其中存放了一个进程所打开的所有文件。文件描述符数组包含在进程打开的文件表files_struct结构中。在/include/linux/fdtable.h中定义，为一个指向file类型的指针数组---fd_array[NR_OPEN_DEFAULT]，其中NR_OPEN_DEFAULT也在fdtable.h中定义，这是一个和具体的CPU体系结构有关的变量，#define NR_OPEN_DEFAULTBITS_PER_LONG。

FILE结构和文件描述符、file结构之间的关系可以用下图来表示：