linux管道pipe详解

Posted liangchaoxi

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了linux管道pipe详解相关的知识，希望对你有一定的参考价值。

管道

管道的概念：

管道是一种最基本的IPC机制，作用于有血缘关系的进程之间，完成数据传递。调用pipe系统函数即可创建一个管道。有如下特质：

1. 其本质是一个伪文件(实为内核缓冲区)

2. 由两个文件描述符引用，一个表示读端，一个表示写端。

3. 规定数据从管道的写端流入管道，从读端流出。

管道的原理: 管道实为内核使用环形队列机制，借助内核缓冲区(4k)实现。

管道的局限性：

① 数据自己读不能自己写。

② 数据一旦被读走，便不在管道中存在，不可反复读取。

③ 由于管道采用半双工通信方式。因此，数据只能在一个方向上流动。

④ 只能在有公共祖先的进程间使用管道。

常见的通信方式有，单工通信、半双工通信、全双工通信。

pipe函数

创建管道

    int pipe(int pipefd[2]); 成功：0；失败：-1，设置errno

函数调用成功返回r/w两个文件描述符。无需open，但需手动close。规定：fd[0] → r； fd[1] → w，就像0对应标准输入，1对应标准输出一样。向管道文件读写数据其实是在读写内核缓冲区。

管道创建成功以后，创建该管道的进程（父进程）同时掌握着管道的读端和写端。如何实现父子进程间通信呢？通常可以采用如下步骤：

\'linux管道pipe详解_#include\'

1. 父进程调用pipe函数创建管道，得到两个文件描述符fd[0]、fd[1]指向管道的读端和写端。

2. 父进程调用fork创建子进程，那么子进程也有两个文件描述符指向同一管道。

3. 父进程关闭管道读端，子进程关闭管道写端。父进程可以向管道中写入数据，子进程将管道中的数据读出。由于管道是利用环形队列实现的，数据从写端流入管道，从读端流出，这样就实现了进程间通信。

    练习：父子进程使用管道通信，父写入字符串，子进程读出并，打印到屏幕。 【pipe.c】

思考：为甚么，程序中没有使用sleep函数，但依然能保证子进程运行时一定会读到数据呢？

 

  2. #include <unistd.h>
  3.  
  4. #include <string.h>
  5.  
  6. #include <stdlib.h>
  7.  
  8. #include <stdio.h>
  9.  
  10. #include <sys/wait.h>
  11.  
  12.  
  13. void sys_err(const char *str)
  14.  
  15. {
  16.  
  17. perror(str);
  18.  
  19. exit(1);
  20.  
  21. }
  22.  
  23.  
  24. int main(void)
  25.  
  26. {
  27.  
  28. pid_t pid;
  29.  
  30. char buf[1024];
  31.  
  32. int fd[2];
  33.  
  34. char *p = "test for pipe\\n";
  35.  
  36.  
  37. if (pipe(fd) == -1)
  38.  
  39. sys_err("pipe");
  40.  
  41.  
  42. pid = fork();
  43.  
  44. if (pid < 0) {
  45.  
  46. sys_err("fork err");
  47.  
  48. } else if (pid == 0) {
  49.  
  50. close(fd[1]);
  51.  
  52. int len = read(fd[0], buf, sizeof(buf));
  53.  
  54. write(STDOUT_FILENO, buf, len);
  55.  
  56. close(fd[0]);
  57.  
  58. } else {
  59.  
  60. close(fd[0]);
  61.  
  62. write(fd[1], p, strlen(p));
  63.  
  64. wait(NULL);
  65.  
  66. close(fd[1]);
  67.  
  68. }
  69.  
  70.  
  71. return 0;
  72.  
  73. }

 

管道的读写行为

    使用管道需要注意以下4种特殊情况（假设都是阻塞I/O操作，没有设置O_NONBLOCK标志）：

1. 如果所有指向管道写端的文件描述符都关闭了（管道写端引用计数为0），而仍然有进程从管道的读端读数据，那么管道中剩余的数据都被读取后，再次read会返回0，就像读到文件末尾一样。

2. 如果有指向管道写端的文件描述符没关闭（管道写端引用计数大于0），而持有管道写端的进程也没有向管道中写数据，这时有进程从管道读端读数据，那么管道中剩余的数据都被读取后，再次read会阻塞，直到管道中有数据可读了才读取数据并返回。

3. 如果所有指向管道读端的文件描述符都关闭了（管道读端引用计数为0），这时有进程向管道的写端write，那么该进程会收到信号SIGPIPE，通常会导致进程异常终止。当然也可以对SIGPIPE信号实施捕捉，不终止进程。具体方法信号章节详细介绍。

4. 如果有指向管道读端的文件描述符没关闭（管道读端引用计数大于0），而持有管道读端的进程也没有从管道中读数据，这时有进程向管道写端写数据，那么在管道被写满时再次write会阻塞，直到管道中有空位置了才写入数据并返回。

总结：

① 读管道： 1. 管道中有数据，read返回实际读到的字节数。

2. 管道中无数据：

(1) 管道写端被全部关闭，read返回0 (好像读到文件结尾)

  (2) 写端没有全部被关闭，read阻塞等待(不久的将来可能有数据递达，此时会让出cpu)

    ② 写管道： 1. 管道读端全部被关闭， 进程异常终止(也可使用捕捉SIGPIPE信号，使进程不终止)

2. 管道读端没有全部关闭：

(1) 管道已满，write阻塞。

(2) 管道未满，write将数据写入，并返回实际写入的字节数。

    练习：使用管道实现父子进程间通信，完成：ls | wc –l。假定父进程实现ls，子进程实现wc。

ls命令正常会将结果集写出到stdout，但现在会写入管道的写端；wc –l 正常应该从stdin读取数据，但此时会从管道的读端读。      【pipe1.c】

 

  2. #include <stdio.h>
  3.  
  4. #include <unistd.h>
  5.  
  6. #include <sys/wait.h>
  7.  
  8.  
  9. int main(void)
  10.  
  11. {
  12.  
  13. pid_t pid;
  14.  
  15. int fd[2];
  16.  
  17.  
  18. pipe(fd);
  19.  
  20. pid = fork();
  21.  
  22.  
  23. if (pid == 0) { //child
  24.  
  25. close(fd[1]); //子进程从管道中读数据，关闭写端
  26.  
  27. dup2(fd[0], STDIN_FILENO); //让wc从管道中读取数据
  28.  
  29. execlp("wc", "wc", "-l", NULL); //wc命令默认从标准读入取数据
  30.  
  31.  
  32. } else {
  33.  
  34.  
  35. close(fd[0]); //父进程向管道中写数据，关闭读端
  36.  
  37. dup2(fd[1], STDOUT_FILENO); //将ls的结果写入管道中
  38.  
  39. execlp("ls", "ls", NULL); //ls输出结果默认对应屏幕
  40.  
  41. }
  42.  
  43.  
  44. return 0;
  45.  
  46. }
  47.  
  48.  
  49.  
  50.  
  51.  
  52.  
  53. /*
  54.  
  55. * 程序不时的会出现先打印$提示符，再出程序运行结果的现象。
  56.  
  57. * 这是因为：父进程执行ls命令，将输出结果给通过管道传递给
  58.  
  59. * 子进程去执行wc命令，这时父进程若先于子进程打印wc运行结果
  60.  
  61. * 之前被shell使用wait函数成功回收，shell就会先于子进程打印
  62.  
  63. * wc运行结果之前打印$提示符。
  64.  
  65. * 解决方法：让子进程执行ls,父进程执行wc命令。或者在兄弟进程间完成。
  66.  
  67. */
  68.  

 

 

程序执行，发现程序执行结束，shell还在阻塞等待用户输入。这是因为，shell → fork → ./pipe1， 程序pipe1的子进程将stdin重定向给管道，父进程执行的ls会将结果集通过管道写给子进程。若父进程在子进程打印wc的结果到屏幕之前被shell调用wait回收，shell就会先输出$提示符。

    练习：使用管道实现兄弟进程间通信。 兄：ls  弟： wc -l  父：等待回收子进程。

要求，使用“循环创建N个子进程”模型创建兄弟进程，使用循环因子i标示。注意管道读写行为。 【pipe2.c】

 

  2. #include <stdio.h>
  3.  
  4. #include <unistd.h>
  5.  
  6. #include <sys/wait.h>
  7.  
  8.  
  9. int main(void)
  10.  
  11. {
  12.  
  13. pid_t pid;
  14.  
  15. int fd[2], i;
  16.  
  17.  
  18. pipe(fd);
  19.  
  20.  
  21. for (i = 0; i < 2; i++) {
  22.  
  23. if((pid = fork()) == 0) {
  24.  
  25. break;
  26.  
  27. }
  28.  
  29. }
  30.  
  31.  
  32. if (i == 0) { //兄
  33.  
  34. close(fd[0]); //写,关闭读端
  35.  
  36. dup2(fd[1], STDOUT_FILENO);
  37.  
  38. execlp("ls", "ls", NULL);
  39.  
  40. } else if (i == 1) { //弟
  41.  
  42. close(fd[1]); //读，关闭写端
  43.  
  44. dup2(fd[0], STDIN_FILENO);
  45.  
  46. execlp("wc", "wc", "-l", NULL);
  47.  
  48. } else {
  49.  
  50. close(fd[0]);
  51.  
  52. close(fd[1]);
  53.  
  54. for(i = 0; i < 2; i++) //两个儿子wait两次
  55.  
  56. wait(NULL);
  57.  
  58. }
  59.  
  60.  
  61. return 0;
  62.  
  63. }

 

 

    测试：是否允许，一个pipe有一个写端，多个读端呢？是否允许有一个读端多个写端呢？ 【pipe3.c】

 

  2. #include <stdio.h>
  3.  
  4. #include <unistd.h>
  5.  
  6. #include <sys/wait.h>
  7.  
  8. #include <string.h>
  9.  
  10. #include <stdlib.h>
  11.  
  12.  
  13. int main(void)
  14.  
  15. {
  16.  
  17. pid_t pid;
  18.  
  19. int fd[2], i, n;
  20.  
  21. char buf[1024];
  22.  
  23.  
  24. int ret = pipe(fd);
  25.  
  26. if(ret == -1){
  27.  
  28. perror("pipe error");
  29.  
  30. exit(1);
  31.  
  32. }
  33.  
  34.  
  35. for(i = 0; i < 2; i++){
  36.  
  37. if((pid = fork()) == 0)
  38.  
  39. break;
  40.  
  41. else if(pid == -1){
  42.  
  43. perror("pipe error");
  44.  
  45. exit(1);
  46.  
  47. }
  48.  
  49. }
  50.  
  51.  
  52. if (i == 0) {
  53.  
  54. close(fd[0]);
  55.  
  56. write(fd[1], "1.hello\\n", strlen("1.hello\\n"));
  57.  
  58. } else if(i == 1) {
  59.  
  60. close(fd[0]);
  61.  
  62. write(fd[1], "2.world\\n", strlen("2.world\\n"));
  63.  
  64. } else {
  65.  
  66. close(fd[1]); //父进程关闭写端,留读端读取数据
  67.  
  68. // sleep(1);
  69.  
  70. n = read(fd[0], buf, 1024); //从管道中读数据
  71.  
  72. write(STDOUT_FILENO, buf, n);
  73.  
  74.  
  75. for(i = 0; i < 2; i++) //两个儿子wait两次
  76.  
  77. wait(NULL);
  78.  
  79. }
  80.  
  81.  
  82. return 0;
  83.  
  84. }

 

 

最近整理出了有关大数据，微服务，分布式，Java，Python，Web前端，产品运营，交互等1.7G的学习资料，有视频教程，源码，课件，软件工具，面试题等等，这里将珍藏多年的资源免费分享给各位小伙伴们。                   

以上是关于linux管道pipe详解的主要内容，如果未能解决你的问题，请参考以下文章

[OS-Linux]详解Linux的进程间通信1------管道

[OS-Linux]详解Linux的进程间通信1------管道

[OS-Linux]详解Linux的进程间通信1------管道

Linux管道命令（pipe）

Linux pipe()：从管道读取并不总是解除对写入器的阻塞

python标准库介绍——35 pipes 模块详解