子进程在 docker 容器中不起作用
Posted
技术标签:
【中文标题】子进程在 docker 容器中不起作用【英文标题】：subprocess not working in docker container 【发布时间】：2018-09-01 13:22:58 【问题描述】：我真的快疯了，把头发拔了，因为我似乎无法解决这个特殊问题。
所以问题来了：我有两个容器：Django 和 celery。用户上传一个 word 文档，celery worker 将该 word 文档转换为 pdf 并上传到 s3 存储桶。我正在使用libreoffice --headless 进行转换。因此，用户将文件发送到 API 端点并将 word 文档保存在名为 original 的文件夹中，而 celery 调用 convert_office_to_pdf.delay 需要转换文件并将其放入另一个文件夹 converted。除了 celery 功能外，一切都按预期工作。代码是这样的：
import subprocess
def convert_office_to_pdf(original_file):
ws = websocket.WebSocket()
ws.connect('ws://web:8000/ws/converter/public/')
#how the command will look like
print('libreoffice --headless --convert-to pdf original/ --outdir ./converted'.format(original_file))
subprocess.call('libreoffice --headless --convert-to pdf original/ --outdir ./converted'.format(original_file), shell=True)
ws.send(json.dumps(
'message': '.pdf'.format(pure_file_name),
'progress': 75))
upload_file_to_s3(pure_file_name, 'pdf', ws)
然而，函数 get 被执行了，什么也没有发生。这是docker-compose 的输出
web_1 | [2018/03/22 22:57:52] HTTP GET /converter/ 200 [0.06, 172.17.0.1:32788]
web_1 | [2018/03/22 22:57:52] HTTP GET /static/css/normalize.css 304 [0.02, 172.17.0.1:32788]
web_1 | [2018/03/22 22:57:52] WebSocket HANDSHAKING /ws/converter/public/ [172.17.0.1:32798]
web_1 | [2018/03/22 22:57:52] WebSocket CONNECT /ws/converter/public/ [172.17.0.1:32798]
fileshiffty_data_1 exited with code 0
worker_1 | [2018-03-22 22:58:04,413: INFO/MainProcess] Received task: api.tasks.convert_office_to_pdf[287805aa-3c9c-4212-92d4-cac5872076f2]
worker_1 | [2018-03-22 22:58:04,414: DEBUG/MainProcess] TaskPool: Apply <function _fast_trace_task at 0x7fb72d567e18> (args:('api.tasks.convert_office_to_pdf', '287805aa-3c9c-4212-92d4-cac5872076f2', 'lang': 'py', 'task': 'api.tasks.convert_office_to_pdf', 'id': '287805aa-3c9c-4212-92d4-cac5872076f2', 'eta': None, 'expires': None, 'group': None, 'retries': 0, 'timelimit': [None, None], 'root_id': '287805aa-3c9c-4212-92d4-cac5872076f2', 'parent_id': None, 'argsrepr': "('1521759484.3458297-Doc1.docx',)", 'kwargsrepr': '', 'origin': 'gen8@a478d8966021', 'reply_to': 'adf32365-ef93-327e-842f-7eff10fda37a', 'correlation_id': '287805aa-3c9c-4212-92d4-cac5872076f2', 'delivery_info': 'exchange': '', 'routing_key': 'celery', 'priority': 0, 'redelivered': None, b'[["1521759484.3458297-Doc1.docx"], , "callbacks": null, "errbacks": null, "chain": null, "chord": null]', 'application/json', 'utf-8') kwargs:)
web_1 | [2018/03/22 22:58:04] HTTP PUT /api/v1/fileupload/word/pdf/ 200 [0.07, 172.17.0.1:32788]
worker_1 | [2018-03-22 22:58:04,417: DEBUG/MainProcess] Task accepted: api.tasks.convert_office_to_pdf[287805aa-3c9c-4212-92d4-cac5872076f2] pid:9
web_1 | [2018/03/22 22:58:04] WebSocket HANDSHAKING /ws/converter/public/ [172.17.0.2:58928]
web_1 | [2018/03/22 22:58:04] WebSocket CONNECT /ws/converter/public/ [172.17.0.2:58928]
worker_1 | [2018-03-22 22:58:04,426: WARNING/ForkPoolWorker-2] /data/web/fileshiffty
worker_1 | [2018-03-22 22:58:04,427: WARNING/ForkPoolWorker-2] libreoffice --headless --convert-to pdf original/1521759484.3458297-Doc1.docx --outdir ./converted
web_1 | "message": "1521759484.3458297-Doc1.pdf", "progress": 50
web_1 | "message": "1521759484.3458297-Doc1.pdf", "progress": 75
当我上传文件时，我可以确认该文件已添加到original 文件夹，并且日志条目worker_1 | [2018-03-22 22:58:04,427: WARNING/ForkPoolWorker-2] libreoffice --headless --convert-to pdf original/1521759484.3458297-Doc1.docx --outdir ./converted 向您显示subprocess 将调用的命令。但是，当我查看 converted 文件夹时，我什么也没看到。它完全是空的。然而，奇怪的部分是当我 bash 进入 docker 容器并运行相同的东西时，文件得到转换并放入文件夹中。像这样
root@4b9da6f71226:/data/web/fileshiffty/api# python3
Python 3.6.4 (default, Mar 14 2018, 17:49:05)
[GCC 4.9.2] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import subprocess
>>> subprocess.call('libreoffice --headless --convert-to pdf original/1521759484.3458297-Doc1.docx --outdir ./converted', shell=True)
convert /data/web/fileshiffty/api/original/1521759484.3458297-Doc1.docx -> /data/web/fileshiffty/api/converted/1521759484.3458297-Doc1.pdf using writer_pdf_Export
0
为什么当我 bash 并执行子进程时它可以工作但不是从文件中。有人可以帮帮我吗？
编辑。似乎 subprocess 命令似乎没有被执行。我将代码更改为以下内容，以了解 subprocess 命令之后发生的情况，甚至使用了像这样的绝对路径：
def convert_office_to_pdf(original_file):
ws = websocket.WebSocket()
ws.connect('ws://web:8000/ws/converter/public/')
pure_file_name = os.path.splitext(os.path.basename(original_file))[0]
ws.send(json.dumps(
'message': '.pdf'.format(pure_file_name),
'progress': 50))
print(os.getcwd())
print('libreoffice --headless --convert-to pdf original/ --outdir ./converted'.format(original_file))
command = ['libreoffice', '--headless', '--convert-to', 'pdf', '/original/'.format(os.getcwd(), original_file), '--outdir', '/converted'.format(os.getcwd())]
process = subprocess.Popen(command, stdout=subprocess.PIPE)
out, err = process.communicate()
print(out)
print(err)
print('------------------------------------------------')
ws.send(json.dumps(
'message': '.pdf'.format(pure_file_name),
'progress': 75))
upload_file_to_s3(pure_file_name, 'pdf', ws)
我得到以下输出
[2018-03-22 23:44:54,668: DEBUG/MainProcess] Task accepted: api.tasks.convert_office_to_pdf[721ed2db-6a74-4fd2-9484-0fca14df7c01] pid:9
web_1 | [2018/03/22 23:44:54] WebSocket HANDSHAKING /ws/converter/public/ [172.17.0.2:60898]
web_1 | [2018/03/22 23:44:54] WebSocket CONNECT /ws/converter/public/ [172.17.0.2:60898]
worker_1 | [2018-03-22 23:44:54,696: WARNING/ForkPoolWorker-2] /data/web/fileshiffty
worker_1 | [2018-03-22 23:44:54,696: WARNING/ForkPoolWorker-2] libreoffice --headless --convert-to pdf original/1521762293.8511283-Doc1.docx --outdir ./converted
web_1 | "message": "1521762293.8511283-Doc1.pdf", "progress": 50
worker_1 | [2018-03-22 23:44:55,283: WARNING/ForkPoolWorker-2] b''
worker_1 | [2018-03-22 23:44:55,283: WARNING/ForkPoolWorker-2] None
worker_1 | [2018-03-22 23:44:55,283: WARNING/ForkPoolWorker-2] ------------------------------------------------
web_1 | "message": "1521762293.8511283-Doc1.pdf", "progress": 75
print(out) 只打印一个空白字节，print(err) 只打印 None。
编辑 2 - 这是 docker-compose 文件
web:
restart: always
tty: true
build: ./web/
working_dir: /data/web/fileshiffty
expose:
- "8000"
ports:
- "8000:8000"
links:
- postgres:postgres
- redis:redis
env_file: env
volumes:
- ./web:/data/web
command: bash -c "python3 manage.py runserver 0.0.0.0:8000"
# command: /usr/bin/gunicorn fileshiffty.wsgi:application -w 2 -b :8000
nginx:
restart: always
build: ./nginx/
ports:
- "80:80"
volumes_from:
- web
links:
- web:web
postgres:
restart: always
image: postgres:latest
volumes_from:
- data
volumes:
- ./postgres/docker-entrypoint-initdb.d:/docker-entrypoint-initdb.d
- ./backups/postgresql:/backup
env_file:
- env
expose:
- "5432"
redis:
restart: always
image: redis:latest
expose:
- "6379"
worker:
build: ./web/
working_dir: /data/web/fileshiffty
command: bash -c "celery -A fileshiffty worker --loglevel=DEBUG"
volumes:
- ./web:/data/web
links:
- postgres:postgres
- redis:redis
- web:web
data:
restart: always
image: alpine
volumes:
- /var/lib/postgresql
command: "true"
【问题讨论】：
您是否尝试过在命令的非工作实例中使用文件的绝对路径？ 刚刚试过。还是不行 您可以尝试使用 os.system() 代替子进程，看看是否可行？这不是一个永久的解决方案，但可能有助于追查根本问题 它可能不在您期望的目录中。捕获stdout、stderr和进程的返回码：***.com/a/1996540/1318694 刚试过os.system()。也不工作。这可能是 docker 的错误吗？
【参考方案1】：
几个可能的原因：
只有当多个用户调用您的 Web API，调用 libreoffice 时才会发生这种情况吗？如果是这样，您需要确保每个并发的libreoffice 进程都有自己独立的用户安装目录。您可以使用libreoffice -env:UserInstallation=file:///tmp/test 设置自定义。
如果你的模型是你提前启动了一个libreoffice进程，那么后面的libreoffice进程只是将请求转发给已经启动的worker，你使用什么版本的LibreOffice？例如，6.1 行有一个错误，我们没有等待转换结果，请参阅https://gerrit.libreoffice.org/#/c/66168/ 进行修复。 （关于对话框有一个版本字符串和一个精确的 git 哈希。所以 6.1.5 已经有这个修复，但不是 6.1.4。）
【讨论】：
【参考方案2】：检查您开发代码时使用的 Python 版本，以及您构建容器时使用的版本是否相同。
我遇到了一个完全相同的问题。我正在使用subprocess.call() 在我的代码中的命令行上执行某些操作。我的代码在我的本地机器上运行良好，但在尝试在 docker 容器内运行时在subprocess.call() 失败。奇怪的是，如果我在交互式 Python shell 中明确写了subprocess.call()，它会在 docker 中运行。我什至尝试过使用os.system()。同样的问题。
当我将 python 版本设置为相同时，最终解决了（最初它们是 3.7.3 用于开发版本，3.5 用于 docker 容器）。 我希望同样适用于你！
此外，如果其他人可以为我建议的这个肮脏修复添加更多技术见解，那就太好了。
【讨论】：
以上是关于子进程在 docker 容器中不起作用的主要内容，如果未能解决你的问题，请参考以下文章
HTTPS 在带有 Docker 容器的 Service Fabric 中不起作用
Docker 容器在使用 AWS ECR 的 AWS ECS 中不起作用