如何从子进程中获取环境？

Posted 2023-02-23

【中文标题】如何从子进程中获取环境？

【英文标题】：How to get environment from a subprocess?

【发布时间】：2010-11-15 21:58:57

【问题描述】：

我想通过python程序调用一个进程，但是，这个进程需要一些由另一个进程设置的特定环境变量。如何获取第一个进程环境变量以将它们传递给第二个？

这是程序的样子：

import subprocess

subprocess.call(['proc1']) # this set env. variables for proc2
subprocess.call(['proc2']) # this must have env. variables set by proc1 to work

但是 to 进程不共享相同的环境。请注意，这些程序不是我的（第一个是又大又丑的 .bat 文件，第二个是专有软件）所以我不能修改它们（好吧，我可以从 .bat 中提取我需要的所有东西，但它非常繁琐)。

注意：我使用的是 Windows，但我更喜欢跨平台解决方案（但我的问题不会发生在类 Unix 上......）

【问题讨论】：

一个 .bat 文件？如果你是在 Windows 上运行的，你真的应该说清楚。

【参考方案1】：

这是一个示例，说明如何在不创建包装脚本的情况下从批处理或 cmd 文件中提取环境变量。享受吧。

from __future__ import print_function
import sys
import subprocess
import itertools

def validate_pair(ob):
    try:
        if not (len(ob) == 2):
            print("Unexpected result:", ob, file=sys.stderr)
            raise ValueError
    except:
        return False
    return True

def consume(iter):
    try:
        while True: next(iter)
    except StopIteration:
        pass

def get_environment_from_batch_command(env_cmd, initial=None):
    """
    Take a command (either a single command or list of arguments)
    and return the environment created after running that command.
    Note that if the command must be a batch file or .cmd file, or the
    changes to the environment will not be captured.

    If initial is supplied, it is used as the initial environment passed
    to the child process.
    """
    if not isinstance(env_cmd, (list, tuple)):
        env_cmd = [env_cmd]
    # construct the command that will alter the environment
    env_cmd = subprocess.list2cmdline(env_cmd)
    # create a tag so we can tell in the output when the proc is done
    tag = 'Done running command'
    # construct a cmd.exe command to do accomplish this
    cmd = 'cmd.exe /s /c "env_cmd && echo "tag" && set"'.format(**vars())
    # launch the process
    proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, env=initial)
    # parse the output sent to stdout
    lines = proc.stdout
    # consume whatever output occurs until the tag is reached
    consume(itertools.takewhile(lambda l: tag not in l, lines))
    # define a way to handle each KEY=VALUE line
    handle_line = lambda l: l.rstrip().split('=',1)
    # parse key/values into pairs
    pairs = map(handle_line, lines)
    # make sure the pairs are valid
    valid_pairs = filter(validate_pair, pairs)
    # construct a dictionary of the pairs
    result = dict(valid_pairs)
    # let the process finish
    proc.communicate()
    return result

因此，要回答您的问题，您需要创建一个 .py 文件，该文件执行以下操作：

env = get_environment_from_batch_command('proc1')
subprocess.Popen('proc2', env=env)

【讨论】：

编辑建议所写的实现不支持非 ASCII 代码页。在这种情况下，建议的修复方法是在 cmd 构造中将 chcp 65001 > NULL && 放在 env_cmd 之前。

这里是这个函数的更多更新版本github.com/PySide/pyside2-setup/blob/master/utils.py#L379

按照 OP 的要求，这不是跨平台的。

没错，通常不可能从正在运行的进程中提取环境，如 Martin v. Löwis 的回答所示。该答案侧重于OP手头的问题。据推测，如果您在该平台上有cmd.exe，这将跨平台工作，如果您正在使用 proc1 的批处理文件，您会这样做。

【参考方案2】：

正如您所说，进程不共享环境 - 所以您真正提出的问题是不可能的，不仅在 Python 中，而且在任何编程语言中也是如此。

您可以做的是将环境变量放入文件或管道中，或者

让父进程读取它们，并在创建 proc2 之前将它们传递给 proc2，或者 让 proc2 读取它们，并在本地设置它们

后者需要 proc2 的配合；前者要求变量在 proc2 启动之前已知。

【讨论】：

Linux下，如果你是root，可以查看/proc//environ并解析...不是“不可能”。

@0x6abd015：然而，这不是 OP 所要求的：他不希望 proc2 找出 proc1 的环境是什么（你可以用 proc 文件系统做什么），但他希望 proc1 proc2 的 set 环境 - 我仍然声称这是不可能的。

【参考方案3】：

由于您显然是在 Windows 中，因此您需要一个 Windows 答案。

创建一个包装批处理文件，例如。 “run_program.bat”，然后运行两个程序：

@echo off
call proc1.bat
proc2

脚本将运行并设置其环境变量。两个脚本都在同一个解释器（cmd.exe 实例）中运行，因此 prog1.bat 设置的变量将在 prog2 执行时设置。

不是很漂亮，但它会起作用。

（Unix 人，你可以在 bash 脚本中做同样的事情：“source file.sh”。）

【讨论】：

我特别想解决使用sourch blah; now_do_second_thing

【参考方案4】：

The Python standard module multiprocessing 有一个队列系统，允许您将可腌制对象传递给进程。进程也可以使用 os.pipe 交换消息（腌制对象）。请记住，资源（例如：数据库连接）和句柄（例如：文件句柄）不能被腌制。

您可能会发现此链接很有趣： Communication between processes with multiprocessing

还有值得一提的关于多处理的 PyMOTw： multiprocessing Basics

抱歉我的拼写错误

【参考方案5】：

您可以在psutil 中使用Process 来获取该进程的环境变量。

如果你想自己实现，可以参考psutil的内部实现。它适应一些操作系统。

目前支持的操作系统有：

AIX FreeBSD、OpenBSD、NetBSD Linux macOS Sun Solaris 窗户

例如：在Linux平台下，可以在/proc/7877/environ文件中找到一个pid为7877的环境变量，用rt模式打开即可读取。

当然，最好的方法是：

import os
from typing import Dict
from psutil import Process

process = Process(pid=os.getpid())
process_env: Dict = process.environ()

print(process_env)

您可以在source code找到其他平台实现

希望我能帮到你。

【讨论】：

根据psutil.readthedocs.io/en/latest/#processes的说法，environ()方法启动后可能不包含环境的变化，所以这会导致该方法无效

【参考方案6】：

我想到了两件事：(1) 让进程共享相同的环境，通过某种方式将它们组合到同一个进程中，或者 (2) 让第一个进程产生包含相关环境变量的输出，这样 Python 可以阅读它并为第二个过程构建环境。我认为（尽管我不是 100% 确定）没有任何方法可以像您希望的那样从子流程中获取环境。

【参考方案7】：

环境继承自父进程。在主脚本中设置您需要的环境，而不是子进程（子进程）。

【讨论】：

这不能回答问题。例如，如果您的程序需要设置冲突的 ENV 变量，也有充分的理由反对这样做。