Unix进程特性

Posted 2020-10-12 韩德田Tivens

  本篇文章主要总结分享记录一下运维工作中经常打交道的Unix进程。程序是代码的集合，而进程是运行中的程序产生的。那么进程都有那些特性呢？且看下文，部分经典且难懂的地方，使用python代码实现，可以让读者更好的理解与记忆。

进程特性

• 进程都有标识符

??在系统中运行的所有进程都有一个唯一的进程标识符，称之为pid。

??pid并不传达关于进程的任何信息，它仅仅是一个顺序字符标识。进程在内核眼中只是个数字而已。

pid是对进程的一种简单通用的描述，它与进程内容无关。

• 进程都有父进程

??系统中运行的每一个进程都有对应的父进程。每个进程都知道其父进程的标识符(ppid)。

??在多数情况下，特定进程的父进程就是调用它的那个进程。

??举例：启动终端并进入bash提示，执行ls命令。那么bash的父进程是终端进程，ls的父进程是bash进程。

• 进程都有文件描述符

??Unix哲学指出，在Unix世界中，一切皆文件。设备、套接字、管道等都是文件。 ??文件描述符代表资源。无论何时打开一个资源，都会得到一个文件描述符编号（file descriptor number）。文件描述符只存在其所属的进程之中，不会在无关进程之间共享。当进程结束，它会和其他有进程所打开的资源一同被关闭。

??文件描述符编号的分配是从尚未使用的最小的值开始。资源一旦关闭，对应的文件描述符编号就又能使用了。文件描述符只是用来跟踪打开的资源，已经关闭的资源是没有文件描述符的。

• 进程资源限制

??接上文，文件描述符代表已打开的资源，那么一个进程可以拥有多少文件描述符，也就是可以拥有多少资源呢？这是由系统配置决定的。内核为进程施加了某些资源限制。比如并发数，最大的文件数，进程栈的段大小等。

• 进程都有环境

??环境变量是包含进程数据的键值对(key-value pairs)。 ??所有进程都从其父进程处继承环境变量。它们由父进程设置并被子进程所继承。每个进程都有环境变量，环境变量对于特定进程而言是全局性的。(ENV)

• 进程都有参数

??所有进程都可以访问名为ARGV的特殊数组。不同编程语言可能在实现方式上略微不同，但是都会有argv。

??argv的全称：argument vector。换句话说，argv是一个参数向量或数组。它保存了在命令行中传递给当前进程的参数。

• 进程都有名字

??Unix进程几乎没有什么固有的方法来获悉彼此的状态。有两种运行在进程自身层面上的机制可以用来通信。一个是进程名称，另一个是退出码。

??系统中每一个进程都有名称。

• 进程都有退出码

??当进程即将结束时，它还有最后一线机会留下自身的信息：退出码。所有进程在退出的时候都带有数字退出码(0-255)，用于指明程序是否正常结束。按照惯例，退出码为0代表进程顺利结束，其他退出码则代表出现了错误，不同的退出码对应不同的错误。 ??在shell脚本中可以使用exit退出，并指定退出码。如：exit 1

• 进程可以衍生/衍生进程

??衍生(forking)是Unix编程中最强大的概念之一。fork(2)系统调用允许运行中的进程以编程的形式创建新的进程。这个新进程和原始进程一模一样。

??进行衍生时，调用fork(2)的进程被称为父进程，新创建的进程被称为子进程。

??子进程从父进程处继承了其所占有内存中的所有内容，以及所有属于父进程的已打开的文件描述符。

??子进程是一个全新的进程，它拥有自己唯一的pid。子进程的ppid就是调用fork(2)的进程的pid。

??在fork(2)调用时，子进程从父进程处继承了所有的文件描述符，也获得了父进程所有的文件描述符的编号。这样，父子进程就可以共享打开的文件、套接字等资源。

??子进程继承了父进程内存中所有内容，即子进程实际上各自享有一份已载入内存代码库的副本。子进程可以随意更改其内存内容的副本，而不会对父进程造成任何影响。

   fork示例：

handetiandeMacBook-Pro:~ handetian$ cat 1.py
#!/usr/bin/env python

import os
print ‘1: %s‘ % os.getpid()

if os.fork():
  print ‘This process is 2: %s‘ % os.getpid()
else:
  print ‘This process is 3: %s‘ % os.getpid()
handetiandeMacBook-Pro:~ handetian$ python 1.py
1: 21198
This process is 2: 21198
This process is 3: 21199

??从上面的示例发现，fork方法的一次调用实际上返回了两次。fork创造了一个新进程。所以它在调用进程(父进程)中返回一次，在新创建的进程(子进程)中又返回一次。if语句块中的代码是由父进程执行的，而else语句块中的代码是子进程执行的。子进程执行完else语句块之后退出，父进程则继续运行。

上述代码的输出是跟fork的返回值有关的。在父进程中，fork返回的值是新创建的子进程的pid，所以父进程执行if语句块中的代码。在子进程中，fork返回的值是nil，nil为假，所以子进程执行了else语句块中的代码。

??根据上边的示例以及返回结果可以表明：通过生成新的进程，程序代码可以(不能完全保证)被分配到多个CPU核心中。

??fork(2)创建了一个和旧进程一模一样的新进程。如果一个使用了1GB内存的进程进行了衍生，那么就有2GB的内存被占用了。如果重复几次该操作，内存会很快被耗尽。这也就是所谓的fork炸弹，因此，我们在执行并发操作前，一定要确保程序执行的后果！！！

• 孤儿进程

??在上文中我们发现，如果涉及子进程，很多事情就变得不那么简单了。

??通过终端启动单个前台进程，只有该进程向STOUT输出，键盘输入CTRL-C可以退出该程序。

??一旦进程衍生了子进程，我们如何确定CTRL-C可以结束父进程还是子进程，还是全部呢？明白这其中的原理可以避免孤儿进程的产生。

??当父进程结束后，子进程会怎样？ 子进程会安然无恙的运行，因为操作系统不会对子进程区别对待。

??父进程结束后，子(孤儿)进程由谁接管？ 在Linux系统中，孤儿(子)进程会由init(1号)进程接管。其实守护进程也是孤儿进程。

• 进程是友好的

??上文中我们聊到fork(2)创建了一个跟父进程一模一样的子进程。它包含了父进程在内存中的一切内容。如果确实复制一份所有数据，系统开销会很大，现代Unix系统采用了写时复制(copy-on-write, CoW)机制，解决该问题。也就是说父进程和子进程实际上是在共享内存中的内容，只有其中某个进程需要对数据进行修改时才会进程内存复制，是得不同进程之间具有一定的隔离。

• 进程可以等待

??上文中我们使用fork(2)衍生的子进程都是跟父进程同时进行，如果我们希望子进程异步的处理事务那么没有问题。此种情况下，如果父进程先退出，那么子进程就会变成孤儿进程。那么父进程是否可以等待子进程退出后再退出呢？答案是可以的，可以通过Process.wait或Process.waitpid等待子进程执行完成。

??示例：

handetiandeMacBook-Pro:~ handetian$ cat 1.py
#!/usr/bin/env python

import os,time
print ‘This process is 1: %s‘ % os.getpid()

pid = os.fork()
if pid:
  print ‘This process is 2: %s‘ % os.getpid()
  #os.wait()
  sleep(5)
  #print "prcess 1 is died!!!"
else:
  for i in xrange(10):
    time.sleep(1)
    print ‘This process is 3: %s‘ % os.getpid()

上述示例，添加注释(#os.wait,#print...)，效果是父进程和子进程同步执行，父进程退出后，子进程继续执行。解除注释(#os.wait,#print...),父进程会等待子进程执行完后，再退出，并且打印process is died!!!

• 僵尸进程

??内核会一直保留已退出的子进程的状态信息，直到父进程使用使用Process.wait请求这些信息。如果父进程一直不发出请求，那么状态信息就会一直被内核保留，造成内核资源浪费。

??示例：

handetiandeMacBook-Pro:~ handetian$ cat 1.py
#!/usr/bin/env python

import os,time
print ‘This process is 1: %s‘ % os.getpid()

pid = os.fork()
if pid:
  print ‘This process is 2: %s‘ % os.getpid()
  while 1:
    time.sleep(1)
else:
  print ‘This process is 3: %s‘ % os.getpid()

??执行结果：

handetiandeMacBook-Pro:~ handetian$ python 1.py &
[3] 21626
handetiandeMacBook-Pro:~ handetian$ This process is 1: 21626
This process is 2: 21626
This process is 3: 21627

handetiandeMacBook-Pro:~ handetian$ ps -ho pid,state -p 21626
  PID STAT
21626 S
handetiandeMacBook-Pro:~ handetian$ ps -ho pid,state -p 21627
  PID STAT
21627 Z

示例代码是fork(2)一个子进程，子进程执行后退出，父进程长眠。通过执行结果处的输入，可以看到父进程S(睡眠)，子进程Z(僵尸)。这就是父进程一直没有读取子进程的状态信息导致的。相应的解决的办法就是父进程在子进程退出读取

• 进程皆可获得信号

??上文中父进程可以通过Process.wait监管子进程。但Process.wait是一个block调用，直到子进程结束，调用才会返回。现实中，父进程不可能一直有时间等待子进程结束。所以，下面将要聊得是Unix信号。 ??信号是什么？信号是一种异步通信。进程可以对接收到的信息进行如下操作：1.忽略该信号 2.执行特定操作 3.执行默认操作

??信号来自哪里？信号由一个进程发送，经过内核，内核发送给另一个进程。内核是信号发送的中介。

??常用信号操作：

????Term -> 表示进程会立即结束

????Core -> 表示进程会立即结束并进行核心转储(栈跟踪)

????Ign -> 表示进程会忽略该信号

????Stop -> 表示进程会停止运行(暂停)

????Cont -> 表示进程会恢复运行(继续)

??常用的信号：

????SIGHUP 1 Term

????SIGINT 2 Term

????SIGQUIT 3 Core

????SIGKIAL 9 Term

????SIGTERM 15 Term

????SIGUSR1 30,10,16 Term #自定义信号

????SIGUSR2 31,12,17 Term # 自定义信号

????SIGSTOP 17,19,23 Stop #该信号不能被捕捉，阻塞或忽略。

• 进程皆可互通

??进程间通信(IPC)的实现有很多方法，最常见的两种：管道(Pipe)和套接字(Socket pairs)

??一个进程打开一个wirte管道，一个进程打开read管道，rea管道一直接收数据，直至接收到一个EOF标志时停止接收。管道通信是单向的。

??IPC是运行在同一台机器上的进程间的通信，不同机器之间的进程通信需要使用TCP套接字实现。