在 docker 中分离运行时,Python 应用程序不打印任何内容

Posted

技术标签:

【中文标题】在 docker 中分离运行时,Python 应用程序不打印任何内容【英文标题】:Python app does not print anything when running detached in docker 【发布时间】:2015-06-22 04:40:49 【问题描述】:

我有一个 Python (2.7) 应用程序,它在我的 dockerfile 中启动:

CMD ["python","main.py"]

main.py 在启动时打印一些字符串,然后进入循环:

print "App started"
while True:
    time.sleep(1)

只要我使用 -it 标志启动容器,一切都会按预期工作:

$ docker run --name=myapp -it myappimage
> App started

稍后我可以通过日志看到相同的输出:

$ docker logs myapp
> App started

如果我尝试使用 -d 标志运行同一个容器,容器似乎可以正常启动,但我看不到任何输出:

$ docker run --name=myapp -d myappimage
> b82db1120fee5f92c80000f30f6bdc84e068bafa32738ab7adb47e641b19b4d1
$ docker logs myapp
$ (empty)

但容器似乎仍在运行;

$ docker ps
Container Status ...
myapp     up 4 minutes ... 

附加也不显示任何内容:

$ docker attach --sig-proxy=false myapp
(working, no output)

任何想法出了什么问题? “打印”在后台运行时的行为是否有所不同?

Docker 版本:

Client version: 1.5.0
Client API version: 1.17
Go version (client): go1.4.2
Git commit (client): a8a31ef
OS/Arch (client): linux/arm
Server version: 1.5.0
Server API version: 1.17
Go version (server): go1.4.2
Git commit (server): a8a31ef

【问题讨论】:

【参考方案1】:

感谢@ahmetalpbalkan GitHub,我终于找到了在 Docker 中运行守护进程时查看 Python 输出的解决方案。自己在这里回答以供进一步参考:

使用无缓冲输出

CMD ["python","-u","main.py"]

而不是

CMD ["python","main.py"]

解决问题;您可以通过

查看输出(stderr 和 stdout)
docker logs myapp

现在!

【讨论】:

-u 似乎对我有用,但是在某处是否有一些文档描述了它的实际作用? 根据其他答案的建议,您可以尝试设置环境变量ENV PYTHONUNBUFFERED=0,以防-u 标志不起作用。 这也是我的问题。更详细的解释见***.com/a/24183941/562883 更多关于-u的信息:***.com/questions/107705/disable-output-buffering 在 python3 上像梦一样工作,而设置 PYTHONUNBUFFERED=0 没有帮助。【参考方案2】:

在我的例子中,使用-u 运行 Python 并没有改变任何东西。然而,诀窍是将PYTHONUNBUFFERED=1 设置为环境变量:

docker run --name=myapp -e PYTHONUNBUFFERED=1 -d myappimage

[编辑]:在 Lars 发表评论后将 PYTHONUNBUFFERED=0 更新为 PYTHONUNBUFFERED=1。这不会改变行为并增加清晰度。

【讨论】:

就我而言,添加-e PYTHONUNBUFFERED=0 会有所帮助。 谢谢!我在墙上撞了好几个小时,即使使用-u 也无法让日志正常工作。您的解决方案使用 Django 在 Docker for Mac 上为我修复了它 我认为这是一个更好的解决方案,我们不必重建 docker 镜像来查看输出 非常感谢。值得一提的是,根据文档PYTHONUNBUFFERED,这只需要一个非空字符即可 PYTHONUNBUFFERED=0 具有误导性 b/c 它表明取消缓冲已禁用。相反,它启用了 b/c python 查找 non-empty 字符串。也就是说,最好使用PYTHONUNBUFFERED=1,它具有相同的效果,但不会导致错误的假设。【参考方案3】:

请参阅this article,其中解释了该行为的详细原因:

通常有三种缓冲模式:

如果文件描述符未缓冲,则不会发生任何缓冲,读取或写入数据的函数调用会立即发生(并将阻塞)。 如果文件描述符是完全缓冲的,则使用固定大小的缓冲区,读取或写入调用只是从缓冲区读取或写入。缓冲区在填满之前不会被刷新。 如果文件描述符是行缓冲的,那么缓冲会一直等待,直到看到换行符。因此数据将缓冲和缓冲,直到看到 \n,然后在该时间点刷新所有缓冲的数据。实际上,缓冲区通常有一个最大大小(就像在完全缓冲的情况下一样),因此该规则实际上更像是“缓冲区,直到看到换行符或遇到 4096 字节的数据,以先发生者为准”。

而 GNU libc (glibc) 使用以下规则进行缓冲:

Stream               Type          Behavior
stdin                input         line-buffered
stdout (TTY)         output        line-buffered
stdout (not a TTY)   output        fully-buffered
stderr               output        unbuffered

所以,如果使用-t,从docker document,它会分配一个伪tty,然后stdout变成line-buffered,从而docker run --name=myapp -it myappimage可以看到一行输出。

而且,如果只使用-d,没有分配tty,那么stdout就是fully-buffered,一行App started肯定无法刷新缓冲区。

然后,使用-dtmake stdout line buffered 或在python 中将-u 添加到flush the buffer 是修复它的方法。

【讨论】:

【参考方案4】:

如果您想在运行 docker-compose up 时将打印输出添加到 Flask 输出,请将以下内容添加到您的 docker compose 文件中。

web:
  environment:
    - PYTHONUNBUFFERED=1

https://docs.docker.com/compose/environment-variables/

【讨论】:

有人能够详细说明为什么这个变量在 Dockerfile 中而不是在 docker-compose 文件中时不起作用?我认为这不重要,但就像一个魅力! @0x78f1935 您是否使用了ARG 指令而不是ENV 指令?它也应该在 dockerfile 中工作。【参考方案5】:

因为我还没有看到这个答案:

您也可以在打印后刷新标准输出:

import time

if __name__ == '__main__':
    while True:
        print('cleaner is up', flush=True)
        time.sleep(5)

【讨论】:

这对我来说非常有效,愚蠢的是它需要在那里,但现在效果很好。 这对我也有用。 envar 方法和“-u”方法都不适合我。 PS:如果你有几个print,然后你在最后一个刷新,你会看到所有以前的print直到flush=True【参考方案6】:

尝试将这两个环境变量添加到您的解决方案PYTHONUNBUFFERED=1PYTHONIOENCODING=UTF-8

【讨论】:

为什么需要PYTHONIOENCODING 不使用 ASCII 字符。【参考方案7】:

如果您将print 更改为logging,您可以在分离的图像上看到日志。

main.py:

import time
import logging
print "App started"
logging.warning("Log app started")
while True:
    time.sleep(1)

Dockerfile:

FROM python:2.7-stretch
ADD . /app
WORKDIR /app
CMD ["python","main.py"]

【讨论】:

不错。提示:使用 Python 3。 问题在 Python 2 中(不带括号的打印语句),因此在这里使用 2。尽管它在 Python3.6 上的行为完全相同,但感谢您的提示;)【参考方案8】:

作为一个快速修复,试试这个:

from __future__ import print_function
# some code
print("App started", file=sys.stderr)

当我遇到同样的问题时,这对我有用。但是,老实说,我不知道为什么会发生这个错误。

【讨论】:

感谢您的提示!尝试用您的版本替换所有打印件,不幸的是它对我不起作用,仍然无法通过 docker 日志获得任何输出(在 sys.stderr / sys.stdout 之间更改确实没有可见的结果)。这是一个 docker 错误吗? 见my answer,原因是:stderr 没有缓冲,所以你可以用你的解决方案修复它。【参考方案9】:

我必须在 docker-compose.yml 文件中使用 PYTHONUNBUFFERED=1 才能查看 django runserver 的输出。

【讨论】:

【参考方案10】:

如果您不使用 docker-compose 而只是使用普通的 docker,则可以将其添加到托管烧瓶应用程序的 Dockerfile

ARG FLASK_ENV="production"
ENV FLASK_ENV="$FLASK_ENV" \
    PYTHONUNBUFFERED="true"

CMD [ "flask", "run" ]

【讨论】:

【参考方案11】:

在 Django 应用程序中使用 python manage.py runserver 时,添加环境变量 PYTHONUNBUFFERED=1 解决了我的问题。 print('helloworld', flush=True) 也适用于我。

但是,python -u 对我不起作用。

【讨论】:

【参考方案12】:

如果有人使用 conda 运行 python 应用程序,您应该在命令中添加--no-capture-output,因为默认情况下 conda 缓冲到标准输出。

ENTRYPOINT ["conda", "run", "--no-capture-output", "-n", "my-app", "python", "main.py"]

【讨论】:

【参考方案13】:

通常,我们将其重定向到特定文件(通过从主机挂载卷并将其写入该文件)。

使用 -t 添加 tty 也可以。您需要在 docker 日志中获取它。

使用大型日志输出,我没有将缓冲区存储在 dockers 日志中而没有任何问题。

【讨论】:

以上是关于在 docker 中分离运行时,Python 应用程序不打印任何内容的主要内容,如果未能解决你的问题,请参考以下文章

在 Docker 中分发 python 源代码是不是安全?

如何从 springboot 应用程序中分离集成的 tomcat

在python中从opencv中分离多个canny边缘检测的坐标

我应该在对元素应用多种样式时从 DOM 中分离元素吗?

理解Docker架构

在 Go 中分离单元测试和集成测试