Linux系统学习笔记:文件I/O

Posted 要知道,春天的道路依然充满泥泞!

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux系统学习笔记:文件I/O相关的知识,希望对你有一定的参考价值。

Linux支持C语言中的标准I/O函数,同时它还提供了一套SUS标准的I/O库函数。和标准I/O不同,UNIX的I/O函数是不带缓冲的,即每个读写都调用内核中的一个系统调用。本篇总结UNIX的I/O并和标准I/O进行对比。

文件描述符

内核通过文件描述符引用打开的文件,它是一个非负整数。按惯例,shell中使用0与进程的标准输入关联,1与标准输出关联,2与标准错误输出关联。依照POSIX,这些幻数应替换为符号常量 STDIN_FILENO 、 STDOUT_FILENO 、STDERR_FILENO 以提高可读性 ,定义在 <unistd.h> 中。

Linux中打开文件 /dev/fd/n 等价于复制描述符n,还有 /dev/stdin 、 /dev/stdout 、 /dev/steerr 分别等价于/dev/fd/0 、 /dev/fd/1 、 /dev/fd/2 。

 fd = open("/dev/fd/0", mode); 大多数系统忽略这个函数调用所指定的mode,而另外的一些系统则要求mode必须是所引用的文件(这里是标准输入)初始打开时所使用的打开模式的一个子集。因为上面的打开等效于 fd = dup(0); ,所以描述符0和fd共享同一个文件表项。正是因为共享同一个文件表项,所以他们看到的文件状态标志(也就是打开模式)应该是一样的。

UNIX标准的I/O函数

UNIX标准的一组I/O函数主要包括 open 、 creat 、 close 、 lseek 、 read 、 write 。

使用 open 和 creat 打开文件

#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>

/* 打开或创建文件
 * @return      成功返回文件描述符,出错返回-1 */
int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);
/* 创建文件
 * @return      成功返回为只写打开的文件描述符,出错返回-1 */
int creat(const char *pathname, mode_t mode);

参数说明:

pathname
要打开或创建的文件的名字。
flags

函数选项,包括:

  • O_RDONLY ,只读打开。
  • O_WRONLY ,只写打开。
  • O_RDWR ,读写打开。

以上三个选项必须有且只有一个。可选的选项还有:

  • O_APPEND ,每次写都追加在文件尾。
  • O_CREAT ,文件不存在时创建文件,需设置 mode 参数。
  • O_EXCL ,和 O_CREAT 同用,文件已存在则出错,文件不存在则创建文件,使测试和创建成为一个原子操作。
  • O_TRUNC ,文件存在且为写打开时,长度截短为0。
  • O_NOCTTY ,对于终端设备,不将该设备分配为此进程的控制终端。
  • O_NONBLOCK ,对于FIFO、块特殊文件、字符特殊文件,设为非阻塞模式。

还有三个同步相关的选项:

  • O_SYNC , write 等待物理I/O操作完成,包括文件属性的更新。
  • O_DSYNC , write 等待物理I/O操作完成,若写不影响读取(如文件大小没变化),不等待文件属性的更新。
  • O_RSYNC , O_SYNC 的同义词。

open 返回的文件描述符一定为最小可用描述符,有时用这一特性来在标准输入/输出/错误输出上打开文件。

creat 是一个历史遗留函数,用于以前没有 O_CREAT 选项的情况,它等价于:

open(pathname, O_WRONLY|O_CREAT|O_TRUNC, mode);

 

使用 close 关闭文件

#include <unistd.h>

/* 关闭打开的文件
 * @return      成功返回0,出错返回-1 */
int close(int fd);

关闭文件时会释放该进程加在文件上的所有记录锁。进程终止时,内核会自动关闭它打开的文件。

打开的文件有一个相关联的当前文件偏移量,通常为非负整数,表示从文件开始的字节数。读/写操作从当前文件偏移量处开始,使偏移量增加读写的字节数。默认打开文件偏移量为0,以 O_APPEND 打开偏移量为文件的字节数。可以用lseek 设置文件的偏移量。

 

lseek 获取或设置文件的偏移量

#include <sys/types.h>
#include <unistd.h>

/* 设置文件的偏移量,设为whence指定的位置加offset
 * @return      成功返回新的文件偏移量,出错返回-1 */
off_t lseek(int fd, off_t offset, int whence);

参数说明:

offset
要增加的偏移量。
whence
  • SEEK_SET ,相对文件开始处。
  • SEEK_CUR ,相对文件当前位置。
  • SEEK_END ,相对文件结尾处。

lseek 并不引起I/O操作,偏移量记录在内核中。

普通文件的偏移量必须是非负整数。偏移量可以大于文件的长度,这样之后的写会形成一个空洞,空洞不占存储,其中的字节被读为0。可以写一个这样的文件,用 od -c 命令验证一下,还可用 ls -ls 命令查看磁盘块占用情况。

 

用 read 函数读取文件的数据

#include <unistd.h>

/* 从打开的文件读数据,从当前偏移量开始,并将偏移量增加实际读取字节数
 * @return      成功返回读到的字节数,已到文件尾返回0,出错返回-1 */
ssize_t read(int fd, void *buf, size_t count);

受文件大小、网络缓冲区、管道、FIFO的实际字节数的限制,实际读到的数据可能少于要读的字节数,信号中断也会造成这种情况。终端设备通常一次最多读一行,磁带等设备一次最多读一个记录。

 

用 write 函数向文件写入数据

#include <unistd.h>

/* 向打开的文件写数据,从当前偏移量开始,并将偏移量增加实际写入字节数
 * @return      成功返回写入的字节数,出错返回-1 */
ssize_t write(int fd, const void *buf, size_t count);

对于普通文件,写操作从文件的当前偏移量开始。如果在打开文件时,指定了O_APPEND选项,则在每次写操作之前,将文件的偏移量设置在文件的当前结尾处。

#include <stdlib.h>
#include <unistd.h>
#include "error.h"

#define BUFFSIZE    4096

int main(void)
{
    int     n;
    char    buf[BUFFSIZE];

    while ((n = read(STDIN_FILENO, buf, BUFFSIZE)) > 0)
        if (write(STDOUT_FILENO, buf, n) != n)
            err_sys("write error");
    if (n < 0)
        err_sys("read error");
    exit(0);
}

注意linux上不同缓冲区长度对读操作的时间的影响。

 

文件共享

UNIX支持不同进程共享打开的文件。内核使用三种数据结构表示打开的文件:

  • 打开文件描述符表:进程在进程表中都有一个记录项,包含一张打开文件的描述符表。每个描述符占一项,包含描述符标志和指向一个文件表项的指针。
  • 文件表:内核维持一张所有打开文件的文件表,每个文件表项包含文件状态标志、当前文件偏移量、指向文件v节点表项的指针。
  • v结点表:每个打开文件有一个v节点表,每个v节点包含文件类型、操作函数指针和文件的i节点等。

Linux将v节点和i节点实现为独立于文件系统的i节点和依赖文件系统的i节点。

不同进程共享文件时,每个进程都有一个该文件的文件表项,指向同一个v节点表。多个文件描述符也可能指向同一个文件表项,如使用 dup 函数和 fork 后的父子进程

技术分享

注意:文件表项要存储在内核中,打开文件描述符表可以存放在用户空间(作为一个独立的对应于每一个进程的结构,可以换出),而非进程表中。这些表也可以用多种方式实现,不必一定是数组,例如,可以将它们实现为结构的链表。

原子操作

 

以上是关于Linux系统学习笔记:文件I/O的主要内容,如果未能解决你的问题,请参考以下文章

Linux学习笔记-epoll

PILE读书笔记_标准I/O

《Linux内核设计与实现》学习笔记——I/O调度算法

第九章学习笔记

学习笔记2(20191222何雨蔚)

(笔记)Linux内核学习之I/O层和I/O调度机制