八文件IO——存储映射

Posted 游戏进行中

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了八文件IO——存储映射相关的知识,希望对你有一定的参考价值。

8.1 存储映射介绍

8.1.1 概念

  存储映射是一个磁盘文件与存储空间的一个缓存相映射,对缓存数据的读写就相应的完成了文件的读写。

  

  文件操作部分映射到虚拟内存的一块区域,我们对虚拟内存映射的那块区域进行读写操作,读写之后,那块区域自动同步到文件当中。

  4G空间分布:

  

  共享内存映射区就是文件映射到的内存区。

8.1.2 mmap---建立内存映射

1 #include <unistd.h>
2 #include <sys/mman.h>
3 //mmap(建立内存映射)
4 void *mmap(void *start, size_t length, int prot, int flags, int fd,off_t offsize);
  • 函数说明
    • mmap()用来将某个文件内容映射到内存中,对该内存区域的存取即是直接对该文件内容的读写。
    • 作用就是 使一个磁盘文件与存储空间中的一个缓存相映射
    • mmap 函数从缓存中获取数据,就相当于读文件中的相应字节。与其类似,将数据存入缓存,则相应字节就自动地写入文件。这样,就可以再不使用 read 和 write 的情况下执行 I/O
    • 子进程继承父进程的映射
  • 参数说明:
    • @start:指向欲对应的内存起始地址,通常设为NULL或0,代表让系统自动选定地址,对应成功后该地址会返回。
    • @length:代表将文件中多大的部分对应到内存。需要映射的字节数
    • @ prot:代表映射区域的保护方式,有下列组合:
      • PROT_EXEC   映射区域可被执行
      • PROT_READ   映射区域可被读取
      • PROT_WRITE      映射区域可被写入
      • PROT_NONE       映射区域不能访问
    • @flags:会影响映射区域的各种特性
      • MAP_FIXED:如果参数 start 所指的地址无法成功建立映射时,则放弃映射,不对地址做修正。通常不鼓励用此标志。
      • MAP_SHARED:对映射区域的写入数据会复制回文件内,而且允许其他映射该文件的进程共享。存储操作立刻修改映射文件内容
      • MAP_PRIVATE:对映射区域的写入操作会产生一个映射文件的复制,即私人的“写入时复制”(copy on write)对此区域作的任何修改都不会写回原来的文件内容。存储操作导致创建映射文件的副本,并对副本读写
      • MAP_ANONYMOUS:建立匿名映射。此时会忽略参数fd,不涉及文件,而且映射区域无法和其他进程共享。
      • MAP_DENYWRITE:只允许对映射区域的写入操作,其他对文件直接写入的操作将会被拒绝。
      • MAP_LOCKED:将映射区域锁定住,这表示该区域不会被置换(swap)。
      • 在调用mmap()时必须要指定MAP_SHARED 或MAP_PRIVATE。
    • @fd:为 open() 返回的文件描述词,代表欲映射到内存的文件。
    • @offset:为文件映射的偏移量,通常设置为0,代表从文件最前方开始对应,offset 必须是分页大小的整数倍。
  • 返回值
    • 若映射成功则返回映射区的内存起始地址,否则返回MAP_FAILED(-1),错误原因存于errno 中。
  • 错误代码
    • EBADF 参数fd 不是有效的文件描述词
    • EACCES 存取权限有误。如果是MAP_PRIVATE 情况下文件必须可读,使用 MAP_SHARED 则要有 PROT_WRITE 以及该文件要能写入。
    • EINVAL 参数start、length 或offset有一个不合法。
    • EAGAIN 文件被锁住,或是有太多内存被锁住。
    • ENOMEM 内存不足。

8.1.3 munmap---解除内存映射

1 #include <unistd.h>
2 #include <sys/mman.h>
3 //munmap(解除内存映射)    
4 int munmap(void *start,size_t length);
  • 函数说明
    • munmap() 用来取消参数 start 所指的映射内存起始地址,参数length 则是欲取消的内存大小。
    • 当进程结束或利用 exec 相关函数来执行其他程序时,映射内存会自动解除,但关闭对应的文件描述符时不会解除映射。
  • 返回值
    • 如果解除映射成功则返回0,否则返回-1,错误原因存于 errno 中
  • 错误代码
    • EINVAL     参数 start或length 不合法。

8.2 例子

(1)写字符

  通过存储映射向文件中写入若干个字符。(文件中必须开辟空间供存储映射区同步,就相当于在写入的区域做一块空洞文件,然后将空洞文件映射到存储映射区)

 1 #include <sys/types.h>
 2 #include <sys/stat.h>
 3 #include <fcntl.h>
 4 #include <unistd.h>
 5 #include <string.h>
 6 #include <errno.h>
 7 #include <stdlib.h>
 8 #include <stdio.h>
 9 #include <fcntl.h>
10 #include <sys/mman.h>
11 
12 int main(int argc, const char *argv[])
13 {
14     if(argc < 2) {
15         printf("usage: %s file\\n", argv[0]);
16         exit(1);
17     }
18 
19     int fd = open(argv[1], O_RDWR);
20     if(fd < 0){
21         perror("open error");
22         exit(1);
23     }
24     
25 
26     //在19个字节处写入一个0
27     lseek(fd, 19, SEEK_END);
28     write(fd, "0", 1);
29 
30     char *addr;
31     //进行存储映射
32     addr = mmap(0, 20, PROT_WRITE, MAP_SHARED, fd, 0);
33     if(addr < 0) {
34         perror("mmap error");
35         exit(1);
36     }
37 
38     //修改存储映射区的内容
39     int i;
40     for(i = 0; i < 20; i++)
41     {
42         *(addr + i) = \'A\' + i;
43     }
44     printf("write success\\n");
45 
46     //解除映射
47     munmap(addr, 0);
48 
49     close(fd);
50 
51     return 0;
52 }

  程序运行结果:

  

(2)文件的拷贝

 1 #include <sys/types.h>
 2 #include <sys/stat.h>
 3 #include <fcntl.h>
 4 #include <unistd.h>
 5 #include <string.h>
 6 #include <errno.h>
 7 #include <stdlib.h>
 8 #include <stdio.h>
 9 #include <fcntl.h>
10 #include <sys/mman.h>
11 
12 int main(int argc, const char *argv[])
13 {
14     if(argc < 3) {
15         printf("usage: %s srcfile destfile\\n", argv[0]);
16         exit(1);
17     }
18 
19     int src_fd;
20     int dest_fd;
21 
22     if((src_fd = open(argv[1], O_RDONLY)) < 0) {
23         perror("open error");
24         exit(1);
25     }
26 
27     if((dest_fd = open(argv[2], O_RDWR | O_CREAT | O_TRUNC, 0777)) < 0) {
28         perror("open error");
29         exit(1);
30     }
31 
32     // 定位到文件尾部,返回一个偏移量,反应文件长度
33     long len = lseek(src_fd, 0, SEEK_END);
34     printf("len: %ld\\n", len);
35 
36     // 在文件开始处跳过 len-1 个字节
37     lseek(dest_fd, len-1, SEEK_SET);
38     write(dest_fd, "0", 1); //创建了目标文件的空洞文件
39 
40     char *src_map = mmap(0, len, PROT_READ, MAP_SHARED, src_fd, 0);
41     if(src_map < 0) {
42         perror("mmap error");
43         exit(1);
44     }
45 
46     char *dest_map = mmap(0, len, PROT_WRITE, MAP_SHARED, dest_fd, 0);
47     if(dest_map < 0) {
48         perror("mmap error");
49         exit(1);
50     }
51 
52     //存储映射区的复制并同步到文件中
53     memcpy(dest_map, src_map, len);
54     munmap(src_map, 0);
55     munmap(dest_map, 0);
56 
57     close(src_fd);
58     close(dest_fd);
59 
60     return 0;
61 }

  运行结果:

  

 

  

以上是关于八文件IO——存储映射的主要内容,如果未能解决你的问题,请参考以下文章

网络存储技术Windows server 2012 (项目八 文件共享与磁盘映射)

存储映射IO

高级 IO(非阻塞多路复用异步存储映射文件锁)

Python 八Python模块

存储映射--mmap

EF添加关联的提示问题:映射从第 260 行开始的片段时有问题: