在 docker 中分离运行时,Python 应用程序不打印任何内容
Posted
技术标签:
【中文标题】在 docker 中分离运行时,Python 应用程序不打印任何内容【英文标题】:Python app does not print anything when running detached in docker 【发布时间】:2015-06-22 04:40:49 【问题描述】:我有一个 Python (2.7) 应用程序,它在我的 dockerfile 中启动:
CMD ["python","main.py"]
main.py 在启动时打印一些字符串,然后进入循环:
print "App started"
while True:
time.sleep(1)
只要我使用 -it 标志启动容器,一切都会按预期工作:
$ docker run --name=myapp -it myappimage
> App started
稍后我可以通过日志看到相同的输出:
$ docker logs myapp
> App started
如果我尝试使用 -d 标志运行同一个容器,容器似乎可以正常启动,但我看不到任何输出:
$ docker run --name=myapp -d myappimage
> b82db1120fee5f92c80000f30f6bdc84e068bafa32738ab7adb47e641b19b4d1
$ docker logs myapp
$ (empty)
但容器似乎仍在运行;
$ docker ps
Container Status ...
myapp up 4 minutes ...
附加也不显示任何内容:
$ docker attach --sig-proxy=false myapp
(working, no output)
任何想法出了什么问题? “打印”在后台运行时的行为是否有所不同?
Docker 版本:
Client version: 1.5.0
Client API version: 1.17
Go version (client): go1.4.2
Git commit (client): a8a31ef
OS/Arch (client): linux/arm
Server version: 1.5.0
Server API version: 1.17
Go version (server): go1.4.2
Git commit (server): a8a31ef
【问题讨论】:
【参考方案1】:感谢@ahmetalpbalkan GitHub,我终于找到了在 Docker 中运行守护进程时查看 Python 输出的解决方案。自己在这里回答以供进一步参考:
使用无缓冲输出
CMD ["python","-u","main.py"]
而不是
CMD ["python","main.py"]
解决问题;您可以通过
查看输出(stderr 和 stdout)docker logs myapp
现在!
【讨论】:
-u 似乎对我有用,但是在某处是否有一些文档描述了它的实际作用? 根据其他答案的建议,您可以尝试设置环境变量ENV PYTHONUNBUFFERED=0
,以防-u
标志不起作用。
这也是我的问题。更详细的解释见***.com/a/24183941/562883
更多关于-u
的信息:***.com/questions/107705/disable-output-buffering
在 python3 上像梦一样工作,而设置 PYTHONUNBUFFERED=0 没有帮助。【参考方案2】:
在我的例子中,使用-u
运行 Python 并没有改变任何东西。然而,诀窍是将PYTHONUNBUFFERED=1
设置为环境变量:
docker run --name=myapp -e PYTHONUNBUFFERED=1 -d myappimage
[编辑]:在 Lars 发表评论后将 PYTHONUNBUFFERED=0
更新为 PYTHONUNBUFFERED=1
。这不会改变行为并增加清晰度。
【讨论】:
就我而言,添加-e PYTHONUNBUFFERED=0
会有所帮助。
谢谢!我在墙上撞了好几个小时,即使使用-u
也无法让日志正常工作。您的解决方案使用 Django 在 Docker for Mac 上为我修复了它
我认为这是一个更好的解决方案,我们不必重建 docker 镜像来查看输出
非常感谢。值得一提的是,根据文档PYTHONUNBUFFERED,这只需要一个非空字符即可
PYTHONUNBUFFERED=0
具有误导性 b/c 它表明取消缓冲已禁用。相反,它启用了 b/c python 查找 non-empty 字符串。也就是说,最好使用PYTHONUNBUFFERED=1
,它具有相同的效果,但不会导致错误的假设。【参考方案3】:
请参阅this article,其中解释了该行为的详细原因:
通常有三种缓冲模式:
如果文件描述符未缓冲,则不会发生任何缓冲,读取或写入数据的函数调用会立即发生(并将阻塞)。 如果文件描述符是完全缓冲的,则使用固定大小的缓冲区,读取或写入调用只是从缓冲区读取或写入。缓冲区在填满之前不会被刷新。 如果文件描述符是行缓冲的,那么缓冲会一直等待,直到看到换行符。因此数据将缓冲和缓冲,直到看到 \n,然后在该时间点刷新所有缓冲的数据。实际上,缓冲区通常有一个最大大小(就像在完全缓冲的情况下一样),因此该规则实际上更像是“缓冲区,直到看到换行符或遇到 4096 字节的数据,以先发生者为准”。
而 GNU libc (glibc) 使用以下规则进行缓冲:
Stream Type Behavior
stdin input line-buffered
stdout (TTY) output line-buffered
stdout (not a TTY) output fully-buffered
stderr output unbuffered
所以,如果使用-t
,从docker document,它会分配一个伪tty,然后stdout
变成line-buffered
,从而docker run --name=myapp -it myappimage
可以看到一行输出。
而且,如果只使用-d
,没有分配tty,那么stdout
就是fully-buffered
,一行App started
肯定无法刷新缓冲区。
然后,使用-dt
到make stdout line buffered
或在python 中将-u
添加到flush the buffer
是修复它的方法。
【讨论】:
【参考方案4】:如果您想在运行 docker-compose up
时将打印输出添加到 Flask 输出,请将以下内容添加到您的 docker compose 文件中。
web:
environment:
- PYTHONUNBUFFERED=1
https://docs.docker.com/compose/environment-variables/
【讨论】:
有人能够详细说明为什么这个变量在 Dockerfile 中而不是在 docker-compose 文件中时不起作用?我认为这不重要,但就像一个魅力! @0x78f1935 您是否使用了ARG
指令而不是ENV
指令?它也应该在 dockerfile 中工作。【参考方案5】:
因为我还没有看到这个答案:
您也可以在打印后刷新标准输出:
import time
if __name__ == '__main__':
while True:
print('cleaner is up', flush=True)
time.sleep(5)
【讨论】:
这对我来说非常有效,愚蠢的是它需要在那里,但现在效果很好。 这对我也有用。 envar 方法和“-u”方法都不适合我。 PS:如果你有几个print
,然后你在最后一个刷新,你会看到所有以前的print
直到flush=True
。【参考方案6】:
尝试将这两个环境变量添加到您的解决方案PYTHONUNBUFFERED=1
和PYTHONIOENCODING=UTF-8
【讨论】:
为什么需要PYTHONIOENCODING
?
不使用 ASCII 字符。【参考方案7】:
如果您将print
更改为logging
,您可以在分离的图像上看到日志。
main.py:
import time
import logging
print "App started"
logging.warning("Log app started")
while True:
time.sleep(1)
Dockerfile:
FROM python:2.7-stretch
ADD . /app
WORKDIR /app
CMD ["python","main.py"]
【讨论】:
不错。提示:使用 Python 3。 问题在 Python 2 中(不带括号的打印语句),因此在这里使用 2。尽管它在 Python3.6 上的行为完全相同,但感谢您的提示;)【参考方案8】:作为一个快速修复,试试这个:
from __future__ import print_function
# some code
print("App started", file=sys.stderr)
当我遇到同样的问题时,这对我有用。但是,老实说,我不知道为什么会发生这个错误。
【讨论】:
感谢您的提示!尝试用您的版本替换所有打印件,不幸的是它对我不起作用,仍然无法通过 docker 日志获得任何输出(在 sys.stderr / sys.stdout 之间更改确实没有可见的结果)。这是一个 docker 错误吗? 见my answer,原因是:stderr 没有缓冲,所以你可以用你的解决方案修复它。【参考方案9】:我必须在 docker-compose.yml 文件中使用 PYTHONUNBUFFERED=1
才能查看 django runserver 的输出。
【讨论】:
【参考方案10】:如果您不使用 docker-compose
而只是使用普通的 docker
,则可以将其添加到托管烧瓶应用程序的 Dockerfile
ARG FLASK_ENV="production"
ENV FLASK_ENV="$FLASK_ENV" \
PYTHONUNBUFFERED="true"
CMD [ "flask", "run" ]
【讨论】:
【参考方案11】:在 Django 应用程序中使用 python manage.py runserver
时,添加环境变量 PYTHONUNBUFFERED=1
解决了我的问题。 print('helloworld', flush=True)
也适用于我。
但是,python -u
对我不起作用。
【讨论】:
【参考方案12】:如果有人使用 conda 运行 python 应用程序,您应该在命令中添加--no-capture-output
,因为默认情况下 conda 缓冲到标准输出。
ENTRYPOINT ["conda", "run", "--no-capture-output", "-n", "my-app", "python", "main.py"]
【讨论】:
【参考方案13】:通常,我们将其重定向到特定文件(通过从主机挂载卷并将其写入该文件)。
使用 -t 添加 tty 也可以。您需要在 docker 日志中获取它。
使用大型日志输出,我没有将缓冲区存储在 dockers 日志中而没有任何问题。
【讨论】:
以上是关于在 docker 中分离运行时,Python 应用程序不打印任何内容的主要内容,如果未能解决你的问题,请参考以下文章
如何从 springboot 应用程序中分离集成的 tomcat