Linux 高级编程 - 消息队列 MsgQueue

Posted cdeveloper

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux 高级编程 - 消息队列 MsgQueue相关的知识,希望对你有一定的参考价值。


这是 cdeveloper 的第 32 篇原创



消息队列 Msg Queue

Hello,大家好,今天跟大家分享消息队列相关的技术。如果你在 Windows 上开发过应用程序,想必你应该听过消息队列这个概念。

在 Windows 中每个程序都有一个消息队列,整个程序在一个 loop 中等待从消息队列中取消息并执行,所以称 Windows 上的程序为事件驱动型。

同样在 Linux 开发中也有消息队列这个概念,不过 Linux 中的消息队列是用来进行 IPC 的,本质上跟共享内存一样也是内存维护的一片内存区域,这篇文章就带你学习消息队列的相关操作和内核机制。

系统中的消息队列

可以使用 ipcs -q 查看系统当前使用的消息队列(以下简称 MQ):

Linux 高级编程 - 消息队列 MsgQueue


我的系统当前没有任何 MQ,后面我们会用程序创建一个 MQ,然后再用这个命令查看。

消息队列的原理

MQ 传递的是消息,消息即是我们需要在进程间传递的数据。MQ 采用链表来实现消息队列,该链表是由系统内核维护。

系统中可能有很多的 MQ,每个 MQ 用消息队列描述符(消息队列 ID:qid)来区分,qid 是唯一的,用来区分不同的 MQ。

在进行进程间通信时,一个进程将消息加到 MQ 尾端,另一个进程从消息队列中取消息(不一定以先进先出来取消息,也可以按照消息类型字段取消息),这样就实现了进程间的通信。如下 MQ 的模型:

Linux 高级编程 - 消息队列 MsgQueue

进程 A 向内核维护的消息队列中发消息,进程 B 从消息队列中取消息,从而实现了 A 和 B 的进程间通信。了解了原理,来看看如何使用 MQ。

使用消息队列

MQ 的 API 操作与共享内存几乎是相同的,分为下面 4 个步骤:

  1. 创建和访问 MQ

  2. 发送消息

  3. 接受消息

  4. 删除 MQ

下面来学习这些函数如何使用。

1. 创建:msgget

使用 msgget 可以创建一个消息队列,需要指定创建的 key 和标志,key 与返回的 qid 有关系。

Linux 高级编程 - 消息队列 MsgQueue

2. 发送:msgsnd

使用 msgsnd 来发送一个消息,必须要有写消息队列的权限。

Linux 高级编程 - 消息队列 MsgQueue

3. 发送:msgrcv

使用 msgrcv 来从 msgqid 标识的 MQ 中读取一个消息放到 msgp 指定的内存中,必须要有读消息队列的权限。

Linux 高级编程 - 消息队列 MsgQueue


注意:参数 msgsz 指定由 msgp 参数指向的结构的成员 mtext 的最大大小(以字节为单位),msgtyp 也有 3 种方式:

  1. msgtyp = 0:读取队列中的第一条消息

  2. msgtyp > 0:读取队列中类型为 msgtyp 的第一条消息,除非在 msgflg 中指定了 MSG_EXCEPT,否则将读取类型不等于 msgtype 的队列中的第一条消息。

  3. msgtyp < 0:读取队列中最小类型小于或等于 msgtype 绝对值的第一条消息

4. 控制:msgctl

Linux 高级编程 - 消息队列 MsgQueue

例子:使用消息队列

我们也写两个程序来用 MQ 来进程间通信,一个进程 A 写入字符串数据到消息队列,另一个进程 B 从队列中取出数据。

这里省略了头文件了,不然图片太长了,头文件可以使用 man 手册来查看,注意学习方法。

write_msg.c

Linux 高级编程 - 消息队列 MsgQueue

read_msg.c

这是读取进程:

Linux 高级编程 - 消息队列 MsgQueue

编译:

Linux 高级编程 - 消息队列 MsgQueue

运行:

Linux 高级编程 - 消息队列 MsgQueue

消息队列创建成功,并且消息也发送了,我们再次用 ipcs -q 看看存不存在这个队列:

Linux 高级编程 - 消息队列 MsgQueue


成功输出了我们创建的消息队列,并且大小等于 255 B,里面有一条我们刚才发送的消息,来读取这个消息:

Linux 高级编程 - 消息队列 MsgQueue


消息接收成功,并且也删除了消息队列,看看有没有删除成功:

Linux 高级编程 - 消息队列 MsgQueue


删除成功!一样,来看看消息队列在内核中的实现。

MQ 的内核实现

1. struct msg_queue

消息队列在内核中用下面的数据结构表示:

Linux 高级编程 - 消息队列 MsgQueue


可以看到消息队列实际上就是一个链表。

2. 分配获取消息队列

首先上层应用通过调用 msgget 来进行系统调用,然后陷入内核:

Linux 高级编程 - 消息队列 MsgQueue


消息队列的内核实现机制和共享内存几乎相同:在内核开辟一片内存空间存放消息队列,不同的进程使用这个消息队列(内存空间)来通信,与共享内存使用相同的一组回调函数 ipc_ops

msgget 的基本的调用过程如下:

Linux 高级编程 - 消息队列 MsgQueue


比较重要的是最后一步回调 newque 函数,这个函数在内核中分配了一个消息队列 msg:

Linux 高级编程 - 消息队列 MsgQueue

3. 发送消息

上层的 msgsnd 系统调用最后会调用到内核的 do_msgsnd 函数,过程如下:

Linux 高级编程 - 消息队列 MsgQueue


具体的过程这里就不分析了,主要就是在链表中添加一项。

4. 接受消息

上层的 msgrcv 系统调用最后会调用到内核的 do_msgrcv 函数,过程如下:


同样接收消息会从链表中删除一项,具体的过程可以根据这个路线仔细分析。

结语

本次我们学习了跟共享内存类似的 IPC 方式:消息队列 Msg Queue,它的使用 API 和内核实现原理跟共享内存是差不多,建议你对照两者进行学习,以此来更好的理解,今天的分享到此为止了,下次再扯吧。


一个坚持原创写作的技术人

给个赞呗

以上是关于Linux 高级编程 - 消息队列 MsgQueue的主要内容,如果未能解决你的问题,请参考以下文章

PHP高级编程之消息队列原理与实现方法详解

PHP高级编程之消息队列

Linux间进程通信--消息队列

Linux间进程通信--消息队列

Linux进程间通信--进程,信号,管道,消息队列,信号量,共享内存

消息队列 - mac上安装RabbitMq (转)