共享内存原理

Posted 2023-04-22

参考技术A

Linux的2.2.x内核支持多种共享内存方式，如mmap()系统调用，Posix共享内存，以及系统V共享内存。

共享内存可以说是最有用的进程间通信方式，也是最快的IPC形式。两个不同进程A、B共享内存的意思是，同一块物理内存被映射到进程A、B各自的进程地址空间。进程A可以即时看到进程B对共享内存中数据的更新，反之亦然。由于多个进程共享同一块内存区域，必然需要某种同步机制，互斥锁和信号量都可以。

系统V共享内存原理

进程间需要共享的数据被放在一个叫做IPC共享内存区域的地方，所有需要访问该共享区域的进程都要把该共享区域映射到本进程的地址空间中去。系统V共享内存通过shmget获得或创建一个IPC共享内存区域，并返回相应的标识符。内核在保证shmget获得或创建一个共享内存区，初始化该共享内存区相应的shmid_kernel结构注同时，还将在特殊文件系统shm中，创建并打开一个同名文件，并在内存中建立起该文件的相应dentry及inode结构，新打开的文件不属于任何一个进程（任何进程都可以访问该共享内存区）。所有这一切都是系统调用shmget完成的。

Linux 有一个系统调用叫 mmap()，这个 mmap() 可以把一个文件映射到进程的地址空间（进程使用的虚拟内存），这样进程就可以通过读写这个进程地址空间来读写这个文件。

你可能会觉得奇怪，我明明写的是内存啊，怎么会变成写文件了呢？他们之间是怎么转化的呢？

没错，你写的确实是内存，但是你写的这个内存不是普通的内存，你写在这个内存上的内容，过段时间后会被内核写到这个文件上面。而写文件，其实最后都会变成写数据到设备里（硬盘、Nand Flash 等）。

mmap的优点主要在为用户程序随机的访问,操作,文件提供了一个方便的操作方法；其次就是为不同进程共享大批量数据提供高效的手段；另外就是对特大文件（无法一次性读入内存）的处理提供了一种有效的方法。

内核里存在着一个特殊的文件系统，这个文件系统的存储介质不是别的，正是 RAM。

在 shmget() 调用之后，系统会为你在这个文件系统上创建一个文件，但是这个时候仅仅是创建了这个文件。

然后你就应该调用 shmat() 了，调用 shmat() 之后，内核会使用 mmap 把这个文件映射到你的进程地址空间，这个时候你就能直接读写映射后的地址了。

过段时间，内核把你写的 内容写到了文件里面，但是，这个文件的存储介质是内存，所以他会怎么做？看明白了吧？

答案：他会写入内存呀

我们先来看看如果不使用内存映射文件的处理流程是怎样的，首先我们得先读出磁盘文件的内容到内存中，然后修改，最后回写到磁盘上。第一步读磁盘文件是要经过一次系统调用的，它首先将文件内容从磁盘拷贝到内核空间的一个缓冲区，然后再将这些数据拷贝到用户空间，实际上是两次数据拷贝。第三步回写也一样也要经过两次数据拷贝。

所以我们基本上会有四次数据的拷贝了，因为大文件数据量很大，几十GB甚至更大，所以拷贝的开销是非常大的。

而内存映射文件是操作系统的提供的一种机制，可以减少这种不必要的数据拷贝，从而提高效率。它由mmap()将文件直接映射到用户空间，mmap()并没有进行数据拷贝，真正的数据拷贝是在缺页中断处理时进行的，由于mmap()将文件直接映射到用户空间，所以中断处理函数根据这个映射关系，直接将文件从硬盘拷贝到用户空间，所以只进行了一次数据拷贝 ，比read进行两次数据拷贝要好上一倍，因此，内存映射的效率要比read/write效率高。

一般来说，read write操作可以满足大多数文件操作的要求，但是对于某些特殊应用领域所需要的几十GB甚至更大的存储，这种通常的文件处理方法进行处理显然是行不通的。

mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。munmap执行相反的操作，删除特定地址区域的对象映射。

当使用mmap映射文件到进程后,就可以直接操作这段虚拟地址进行文件的读写等操作,不必再调用read,write等系统调用.但需注意,直接对该段内存写时不会写入超过当前文件大小的内容.

参考地址：

共享内存原理与使用

共享内存是System V版本的最后一个进程间通信方式。共享内存，顾名思义就是允许两个不相关的进程访问同一个逻辑内存，共享内存是两个正在运行的进程之间共享和传递数据的一种非常有效的方式。不同进程之间共享的内存通常为同一段物理内存。进程可以将同一段物理内存连接到他们自己的地址空间中，所有的进程都可以访问共享内存中的地址。如果某个进程向共享内存写入数据，所做的改动将立即影响到可以访问同一段共享内存的任何其他进程。

特别提醒：共享内存并未提供同步机制，也就是说，在第一个进程结束对共享内存的写操作之前，并无自动机制可以阻止第二个进程开始对它进行读取，所以我们通常需要用其他的机制来同步对共享内存的访问，例如信号量。

共享内存的通信原理
**在Linux中，每个进程都有属于自己的进程控制块（PCB）和地址空间（Addr Space），并且都有一个与之对应的页表，负责将进程的虚拟地址与物理地址进行映射，通过内存管理单元（MMU）进行管理。**两个不同的虚拟地址通过页表映射到物理空间的同一区域，它们所指向的这块区域即共享内存。

为什么共享内存速度最快？
借助上图说明：Proc A 进程给内存中写数据， Proc B 进程从内存中读取数据，在此期间一共发生了两次复制

（1）Proc A 到共享内存 （2）共享内存到 Proc B

因为直接在内存上操作，所以共享内存的速度也就提高了。

• 第一，和创建进程类似，进程被创建的时候，会被分配一个pid来标识这个进程的唯一性，同时也方便OS管理这些进程，因此共享内存在被创建的时候，会被分配一个“ID”来标识唯一性

• 第二，共享内存可以允许存在多个，为了区分这些共享内存，我们上面引入了“ID”的概念，但是要如何让两个进程连上同一个共享内存呢？？

  就好比，我要和人solo（通信），我创建了一个房间（共享内存），这个房间就有了房间号（共享内存的ID），是个人都能进这个房间，根本没法通信，所以我们要设置房间密码。因此为了通信，我们需要两样东西，一个是房间号，一个是房间密码（这个密码key由用户自己在shmget中设置，一般是通过ftok函数来， 也可以自己随意设置一个整数）

当我们需要使用共享内存时，我们要做的准备工作是：

            — 通过某种调用，在内存中开辟一块空间（shmget）

            — 通过某种调用，让两个进程挂接到这个新开辟的空间上（shmat）

当我们不需要使用共享内存时，我们需要做的收尾工作是：

            — 断开进程和共享内存之间的关联（shmdt）

            — 释放共享内存（shmctl）

共享内存和信号量配合使用的例子：进程间通信之共享内存和信号量_Linux技术狂的博客-CSDN博客_共享信号量