Python24 进程

Posted 2022-10-08 thloveyl

进程

• 进程：一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个Word就启动了一个Word进程。
• 线程：有些进程还不止同时干一件事，比如Word，它可以同时进行打字、拼写检查、打印等事情。在一个进程内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”称为线程（Thread）。
• 一个进程至少有一个线程。当然，像Word这种复杂的进程可以有多个线程，多个线程可以同时执行，多线程的执行方式和多进程是一样的，也是由操作系统在多个线程之间快速切换，让每个线程都短暂地交替运行，看起来就像同时执行一样。当然，真正地同时执行多线程需要多核CPU才可能实现。
• 多任务实现方式：
  多进程模式； 多线程模式； 多进程+多线程模式。

• 小结:
  线程是最小的执行单元，而进程由至少一个线程组成。如何调度进程和线程，完全由操作系统决定，程序自己不能决定什么时候执行，执行多长时间。 多进程和多线程的程序涉及到同步、数据共享的问题，编写起来更复杂。
  - - -

  多进程

• fork()函数调用一次，返回两次，因为操作系统自动把当前进程（称为父进程）复制了一份（称为子进程），然后，分别在父进程和子进程内返回
• 子进程永远返回0，而父进程返回子进程的ID。这样做的理由是，一个父进程可以fork出很多子进程，所以，父进程要记下每个子进程的ID，而子进程只需要调用getppid()就可以拿到父进程的ID。
• 代码：
  PYTHON # windows 没有 fork()方法，此方法适用于/unix/linux/mac import os print(‘Process(%s)start...‘% os.getpid()) pid = os.fork() if pid == 0: print(‘I am child process (%s) and my parent is %s.‘ % (os.getpid(), os.getppid())) else: print(‘I (%s) just created a child process (%s).‘ % (os.getpid(), pid))
• multiprocessing:multiprocessing模块提供了一个Process类来代表一个进程对象,适用于windows系统
  • 代码：

  # windows 多进程
  from multiprocessing import Process
  import os
  
  # 子进程执行
  def run_proc(name):
      print(name+'进程s'.format(s=os.getpid()))
  
  if __name__ == '__main__':
      #　获取当前主线册程ｉｄ
      print('当前线程id%s'% os.getpid())
      #　创建子线程
      p = Process(target=run_proc,args=('子进程',))
      print('调用Start')
      #　启动线程
      p.start()
      #　join()方法可以等待子进程结束后再继续往下运行，通常用于进程间的同步。
      p.join()
      print('end') 

• Pool：如果要启动大量的子进程，可以用进程池的方式批量创建子进程：

  • 代码：
    ```PYTHON
    # Pool：如果要启动大量的子进程，可以用进程池的方式批量创建子进程：
    from multiprocessing import Pool
    import os,time,random

    def long_time(name):
    print(‘Run task %s (%s)‘ % (name,os.getpid()))
    start = time.time()
    time.sleep(random.random() * 3)
    end = time.time()
    print(‘TAsk %s runs %0.2f seconds.‘%(name,(end-start)))

    if name == ‘main‘:
    print(‘parent process %s‘ % os.getpid())
    p = Pool(4)
    for i in range(5):
    p.apply_async(long_time,args=(i,))
    print(‘waiting for all subprocesses done...‘)
    p.close()
    p.join() # 调用之前需调用close()方法，调用后会等待所有子进程执行完毕
    print(‘done‘)
    ‘‘‘
    代码解读：
    对Pool对象调用join()方法会等待所有子进程执行完毕，调用join()之前必须先调用close()，
    调用close()之后就不能继续添加新的Process了。
    请注意输出的结果，task 0，1，2，3是立刻执行的，而task 4要等待前面某个task完成后才执行，
    这是因为Pool的默认大小在我的电脑上是4，
    因此，最多同时执行4个进程。这是Pool有意设计的限制，并不是操作系统的限制。如果改成：
    ‘‘‘
    ```
• 子进程：子进程并不是自身，而是一个外部进程。我们创建了子进程后，还需要控制子进程的输入和输出。subprocess模块可以让我们非常方便地启动一个子进程，然后控制其输入和输出

  • 代码：
    ```PYTHON
    # 子进程：subprocess模块可以让我们非常方便地启动一个子进程，然后控制其输入和输出。
    import subprocess

    print(‘$ nslookup www.python.org‘)
    r = subprocess.call([‘nslookup‘, ‘www.python.org‘])
    print(‘Exit code:‘, r)
    ```
• 进程间通信：Process之间肯定是需要通信的，操作系统提供了很多机制来实现进程间的通信。Python的multiprocessing模块包装了底层的机制，提供了Queue、Pipes等多种方式来交换数据。

  • 代码：
    ```PYTHON
    from multiprocessing import Process, Queue
    import os, time, random

    # 写数据进程执行的代码:
    def write(q):
    print(‘Process to write: %s‘ % os.getpid())
    for value in [‘A‘, ‘B‘, ‘C‘]:
    print(‘Put %s to queue...‘ % value)
    q.put(value)
    time.sleep(random.random())

    # 读数据进程执行的代码:
    def read(q):
    print(‘Process to read: %s‘ % os.getpid())
    while True:
    value = q.get(True)
    print(‘Get %s from queue.‘ % value)

    if name==‘main‘:
    # 父进程创建Queue，并传给各个子进程：
    q = Queue()
    pw = Process(target=write, args=(q,))
    pr = Process(target=read, args=(q,))
    # 启动子进程pw，写入:
    pw.start()
    # 启动子进程pr，读取:
    pr.start()
    # 等待pw结束:
    pw.join()
    # pr进程里是死循环，无法等待其结束，只能强行终止:
    pr.terminate()
    ```