python重要模块之subprocess模块

Posted 2020-11-05 每天进步一点点

python重要模块之subprocess模块

我们经常要通过python去执行系统的命令或者脚本，系统的shell命令是独立于你的python进程之外的，每执行一条命令，就相当于发起了一个新的进程，通过python调用系统命令或脚本的模块。

之前我们也学到过和系统交互的模块-os模块

In [1]: import os

In [2]: os.system(‘uname -a‘)
Linux host-10-200-137-195 3.10.0-693.21.1.el7.x86_64 #1 SMP Wed Mar 7 19:03:37 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
Out[2]: 0  # 命令的执行返回结果，0为执行成功，非0表示失败

除了so.system可以调用系统命令，commands和popen2等也可以，因为比较乱，所以官方推出了subprocess，目的就是提供统一的模块来实现对系统命令或脚本的调用。简单演示下commands的用法：
commands模块讲解

# commands模块，在python2中运行

>>> import commands  # 导入这个模块
>>> status,output = commands.getstatusoutput(‘ls‘)  
>>> status  # 代表shell命令的返回状态
0
>>> output  # 代表shell命令你的执行结果
‘anaconda-ks.cfg‘

三种命令的执行方式

• subprocess.run() # 官方推荐
• subprocess.call() # 跟run()方法差不多，另一种写法
• subprocess.Popen() # 上面各种方法的封装

run()方法

标准写法

subprocess.run([‘df‘,‘-h‘],stderr=subprocess.PIPE,stdout=subprocess.PIPE,check=True)

慢慢来讲：

In [2]: subprocess.run([‘df‘,‘-h‘])  # 这个是将shell命令拆分成列表的形式写
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/centos-root   50G  2.2G   48G   5% /
devtmpfs                 3.9G     0  3.9G   0% /dev
tmpfs                    3.9G     0  3.9G   0% /dev/shm
tmpfs                    3.9G  8.4M  3.9G   1% /run
tmpfs                    3.9G     0  3.9G   0% /sys/fs/cgroup
/dev/vda1                509M  175M  335M  35% /boot
tmpfs                    783M     0  783M   0% /run/user/0
Out[2]: CompletedProcess(args=[‘df‘, ‘-h‘], returncode=0)  # 返回了一个对象

# 赋值
a = subprocess.run([‘df‘,‘-h‘])  # 此时a就是返回的那个对象，通过这个对象，我们可以使用很多方法

In [3]: a  # 就是返回的那个对象
Out[3]: CompletedProcess(args=[‘df‘, ‘-h‘], returncode=0)

In [4]: a.returncode  # 查看shell命令执行状态
Out[4]: 0

In [5]: a.args  # 查看所带的参数
Out[5]: [‘df‘, ‘-h‘]

In [6]: a.check_returncode  # 判断命令执行状态是否为0，不为0则报错
Out[6]: <bound method CompletedProcess.check_returncode of CompletedProcess(args=[‘df‘, ‘-h‘], returncode=0)>

In [7]: a.stdout

In [8]: a.stderr

那么问题来了，为什么a.stdout和a.stderr没有输出任何东西呢？让我们来看看subprocess模块内部的工作机制吧？

通过python去执行Liunx命令，相当于发起了一个新的进程，我们比如： 在Word文档中把QQ打开了，word要占用内存，QQ也要占用内存，那么在word中能不能给QQ里的好友发送消息呢？
答案是不能的，因为：如果wold可以去访问QQ的内存数据，那么就可以通过QQ发送数据了，那么就会有一个问题出现，QQ被搞崩了，所以操作系统为了避免这样的事情发生，就严格的限制了每个进程在内存中都是独立的，我们再打个比方：在浏览器中复制粘贴，其实就是通过操作系统去实现的，操作系统也有着自己的内存，从浏览器中赋值的内容，然后通过操作系统导给QQ等，操作系统可以访问每个进程的内存。
python和shell的关系就是这样，subprocess帮我们发起了一个进程然后得到结果，python和shell之间是不互通的，如果想要互通，那么就需要有个桥梁，即python和操作系统之间的桥梁。
所以就会有这么一种写法了

subprocess.run([ls‘‘,‘-l‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE)
其中PIPE就相当于是桥梁，stdout和stderr被称为标准输出
# 此时让我们再看一下运行结果
In [9]: a = subprocess.run([‘ls‘,‘-l‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE)

In [10]: a.stdout  # 标准输出
Out[10]: b‘total 4\n-rw-------. 1 root root 1224 Oct 15  2016 anaconda-ks.cfg\n‘

In [11]: a.stderr  # 标准错误输出
Out[11]: b‘‘

继续往下讲，在run()方法中,check=True是啥意思呢?写代码看下：

In [13]: a = subprocess.run([‘ls‘,‘-ldada‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE,check=True)  # 故意设置shell命令是错误的，结果并不检查
    ...: 

In [14]: a = subprocess.run([‘ls‘,‘-lkjh‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE,check=True)  # 检查shell命令是否正确，不正确则报错
---------------------------------------------------------------------------
CalledProcessError                        Traceback (most recent call last)
<ipython-input-14-0e63d8200326> in <module>()
----> 1 a = subprocess.run([‘ls‘,‘-lkjh‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE,check=True)

/usr/local/lib/python3.6/subprocess.py in run(input, timeout, check, *popenargs, **kwargs)
    416         if check and retcode:
    417             raise CalledProcessError(retcode, process.args,
--> 418                                      output=stdout, stderr=stderr)
    419     return CompletedProcess(process.args, retcode, stdout, stderr)
    420 

CalledProcessError: Command ‘[‘ls‘, ‘-lkjh‘]‘ returned non-zero exit status 2.

In [15]: a = subprocess.run([‘ls‘,‘-lkjh‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE)

In [16]: a = subprocess.run([‘ls‘,‘-lkjh‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE),check=True
  File "<ipython-input-16-15adea8e8d2f>", line 1
    a = subprocess.run([‘ls‘,‘-lkjh‘],stdout=subprocess.PIPE,stderr=subprocess.PIPE),check=True
       ^
SyntaxError: can‘t assign to function call

如果想执行复杂的shell命令，让我们来看看怎么写？

In [17]: a = subprocess.run([‘df‘,‘-h‘,‘|‘,‘grep‘,‘Used‘],stdout=subprocess.PIPE,stderr=subprocess.PI
    ...: PE)  # 刚刚的ls -l不就是这样的嘛一直拼参数怎么会报错了呢

In [18]: a.stderr  # 我知道是错误的，故意直接写的是标准错误输出
Out[18]: b‘df: \xe2\x80\x98|\xe2\x80\x99: No such file or directory\ndf: \xe2\x80\x98grep\xe2\x80\x99: No such file or directory\ndf: \xe2\x80\x98Used\xe2\x80\x99: No such file or directory\n‘

# 其实应该这样写
In [21]: a = subprocess.run(‘df -h | grep Used‘,stdout=subprocess.PIPE,stderr=subprocess.PIPE,shell=True)

In [22]: a.stdout
Out[22]: b‘Filesystem               Size  Used Avail Use% Mounted on\n‘

In [23]: a.stderr
Out[23]: b‘‘
# shell=True这样写就是告诉subprocess，你之前帮我拼参数，但是现在不用了，只需要把整条命令传递个shell去处理就行了

call()方法

废话不多说，直接看代码

In [24]: subprocess.call([‘ls‘,‘-l‘])
total 4
-rw-------. 1 root root 1224 Oct 15  2016 anaconda-ks.cfg
Out[24]: 0  # 命令执行的返回状态，0代表成功

# 执行命令，如果命令结果为0，就正常返回，否则抛异常
In [25]: subprocess.check_call([‘ls‘,‘-l‘])
total 4
-rw-------. 1 root root 1224 Oct 15  2016 anaconda-ks.cfg
Out[25]: 0

In [26]: subprocess.check_call([‘ls‘,‘-lhgj‘])
ls: invalid option -- ‘j‘
Try ‘ls --help‘ for more information.
---------------------------------------------------------------------------
CalledProcessError                        Traceback (most recent call last)
<ipython-input-26-c38033ac38dc> in <module>()
----> 1 subprocess.check_call([‘ls‘,‘-lhgj‘])

/usr/local/lib/python3.6/subprocess.py in check_call(*popenargs, **kwargs)
    289         if cmd is None:
    290             cmd = popenargs[0]
--> 291         raise CalledProcessError(retcode, cmd)
    292     return 0
    293 

CalledProcessError: Command ‘[‘ls‘, ‘-lhgj‘]‘ returned non-zero exit status 2.

# 接受字符串格式的命令，返回元组形式，第1个元素是执行状态，第2个是命令结果
In [27]: subprocess.getstatusoutput(‘ls /bin/ls‘)
Out[27]: (0, ‘/bin/ls‘)

# 接收字符串格式命令，并返回结果
In [29]: subprocess.getoutput(‘df -h | grep Used‘)
Out[29]: ‘Filesystem               Size  Used Avail Use% Mounted on‘

# 执行命令并返回结果，注意是返回结果，不是打印，

Popen()方法

常用参数

• args:shell命令，可以是字符或者序列化类型（list,tuple）
• stdint,stdout,stderr:分别表示程序的标准输入、输出、错误
• preexec_fn:只在Unix平台下有效，用于指定一个可执行对象，它将在子进程运行之前被调用
• shell:同上
• cwd:用于指定子进程的当前目录
• env:用于指定子进程的环境变量，如果env=None，子进程的环境变量将会从父进程中继承

下面这两条语句执行会有什么区别？

In [7]: a = subprocess.call(‘sleep 10‘,shell=True,stdout=subprocess.PIPE)  # 它会一直等待着这段代码执行完才结束

In [8]: a = subprocess.Popen(‘sleep 10‘,shell=True,stdout=subprocess.PIPE)  # 相当于是有两个进程，主程序继续下一步行动，其余则另开一个新的进程执行sleep 10

如果你调用的命令或脚本需要哦执行10分钟，你的主程序不需卡在哪里等待10分钟，可以继续往下走干别的事情，每过一会，就可以通过poll(）方法去检测一下这个命令是否执行完成。
Popen调用后会返回一个对象，可以通过这个对象拿到命令的执行结果或状态等，该对象有以下方法：
1.poll():查看这个进程的执行状态，没有执行完则不输出，执行正确输出0，错误非0

In [13]: a = subprocess.Popen(‘sleep 10‘,shell=True,stdout=subprocess.PIPE)

In [14]: a.poll()

2.wait():等待这个进程结束,知道返回运行结果

In [15]: a = subprocess.Popen(‘sleep 10‘,shell=True,stdout=subprocess.PIPE)

In [16]: a.wait()
Out[16]: 0

3.terminate():终止所启动的进程
4.kill():杀死所启动的进程

In [24]: a = subprocess.Popen(‘for i in $(seq 1 100);do sleep 1;echo $i >> sleep1.log;done‘,shell=True,stdou
    ...: t=subprocess.PIPE)

In [25]: a.terminate  # 这个是内存地址
Out[25]: <bound method Popen.terminate of <subprocess.Popen object at 0x7f49d85717f0>>

In [26]: a.terminate()  # 杀死进程的一种方法

In [28]: a = subprocess.Popen(‘for i in $(seq 1 100);do sleep 1;echo $i >> sleep1.log;done‘,shell=True,stdou
    ...: t=subprocess.PIPE)

In [29]: a.kill()  # 杀死进程的另一种方法

5.pid():获取子进程的pid

In [30]: a = subprocess.Popen(‘for i in $(seq 1 100);do sleep 1;echo $i >> sleep1.log;done‘,shell=True,stdou
    ...: t=subprocess.PIPE)

In [33]: a.pid
Out[33]: 4931

现在讲一下Popen方法的其中几个参数

# cwd设置子进程的当前目录
In [4]: a = subprocess.Popen(‘echo $PWD;sleep 2‘,shell=True,cwd=‘/tmp‘,stdout=subprocess.PIPE)

In [5]: a.stdout.read()
Out[5]: b‘/tmp\n‘

# preexec_fn=  在子进程运行之前被调用

# 最后一个，与程序的交互，communicate(),发送数据到stdin，并从stdout接收输入，然后等待任务结束

这是一个猜数字的游戏1.py
 11 import random
 12      
 13 num = random.randint(1,100)
 14 your_guess = int(input(‘your_guess:‘))
 15      
 16 if your_guess > num:
 17     print(‘bigger‘)
 18 elif yur_guess < num:
 19     print(‘smaller‘)
 20 else:
 21     print(‘ok‘)   

程序交互：
>>> import subprocess
>>> a = subprocess.Popen(‘python3 1.py‘,shell=True,stdout=subprocess.PIPE)
然后：
a.communicate(b‘22‘)  # 就可以了，我的xshell一运行就断开连接，所以，我就不演示啦。