将环境变量注入图像的构建阶段

Posted

技术标签:

【中文标题】将环境变量注入图像的构建阶段【英文标题】:Inject env variable into build stage of image 【发布时间】:2020-04-28 14:18:15 【问题描述】:

为基于 Django 的 API 开发 CI/CD 管道。我需要在构建阶段注入环境变量才能成功构建映像。

python manage.py collectstatic 在构建镜像时在Dockerfile 中运行 collectstatic 需要 settings.py 中的 SECRET_KEY 才能运行 SECRET_KEY 在这个阶段是空的,因为它是用os.environ['SECRET_KEY] 读入的 因为是空的,所以构建失败 因此,我需要设置环境来拥有这个变量

我无法将这么多的东西放在一起,所以想看看是否有人可以帮助我。

这是我目前所拥有的:

Azure 管道

azure-pipelines.yml

trigger:
  branches:
    include:
    - master

resources:
- repo: self

variables:
  # Container registry service connection established during pipeline creation
  secretKey: $(SECRET_KEY)

  # Agent VM image name
  vmImageName: 'ubuntu-latest'

stages:
- stage: Build
  displayName: Build and push stage
  jobs:  
  - job: Build
    displayName: Build
    pool:
      vmImage: $(vmImageName)
    steps:
    - bash:
      env:
        SECRET_KEY: $(secretKey)
    - task: Docker@2
      displayName: Build and push api image to container registry
      inputs:
        command: buildAndPush
        repository: $(imageRepository)-api
        dockerfile: $(dockerfilePath)/api/Dockerfile
        containerRegistry: $(dockerRegistryServiceConnection)
        tags: |
          $(tag)
    - upload: manifests
      artifact: manifests

Dockerfile

FROM python:3.7-slim
ENV PYTHONUNBUFFERED 1
WORKDIR /app
EXPOSE 5000
COPY requirements*.txt ./
RUN pip install -r requirements.txt
COPY . .
RUN python manage.py collectstatic
CMD ["gunicorn", "-b", ":5000", "--log-level", "info", "config.wsgi:application"]

构建失败日志(可能没有帮助,因为我知道它失败的原因...SECRET_KEY 不在环境变量中)

Step 8/18 : RUN python manage.py collectstatic
 ---> Running in 1f42a5c062aa
Traceback (most recent call last):
  File "manage.py", line 21, in <module>
    main()
  File "manage.py", line 17, in main
    execute_from_command_line(sys.argv)
  File "/usr/local/lib/python3.7/site-packages/django/core/management/__init__.py", line 381, in execute_from_command_line
    utility.execute()
  File "/usr/local/lib/python3.7/site-packages/django/core/management/__init__.py", line 325, in execute
    settings.INSTALLED_APPS
  File "/usr/local/lib/python3.7/site-packages/django/conf/__init__.py", line 79, in __getattr__
    self._setup(name)
  File "/usr/local/lib/python3.7/site-packages/django/conf/__init__.py", line 66, in _setup
    self._wrapped = Settings(settings_module)
  File "/usr/local/lib/python3.7/site-packages/django/conf/__init__.py", line 157, in __init__
    mod = importlib.import_module(self.SETTINGS_MODULE)
  File "/usr/local/lib/python3.7/importlib/__init__.py", line 127, in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
  File "<frozen importlib._bootstrap>", line 1006, in _gcd_import
  File "<frozen importlib._bootstrap>", line 983, in _find_and_load
  File "<frozen importlib._bootstrap>", line 967, in _find_and_load_unlocked
  File "<frozen importlib._bootstrap>", line 677, in _load_unlocked
  File "<frozen importlib._bootstrap_external>", line 728, in exec_module
  File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed
  File "/app/config/settings.py", line 26, in <module>
    SECRET_KEY = os.environ['SECRET_KEY']
  File "/usr/local/lib/python3.7/os.py", line 679, in __getitem__
    raise KeyError(key) from None
KeyError: 'SECRET_KEY'
The command '/bin/sh -c python manage.py collectstatic' returned a non-zero code: 1
##[error]The command '/bin/sh -c python manage.py collectstatic' returned a non-zero code: 1
##[error]The process '/usr/bin/docker' failed with exit code 1

我只是不确定如何在其中获取环境变量。我的方法可能从一开始就完全错误。

那我该怎么办:

    安全地声明管道中的环境变量? 将上述环境变量传递到构建阶段?

谢谢!

【问题讨论】:

无法获取最新信息,该解决方法对您有帮助吗?或者,如果您有任何疑问,请随时在此处分享。 @HughLin-MSFT 好吧,我希望有一种方法可以使用 azure-pipelines.yml 和 Azure DevOps Pipelines 来做到这一点。如果这不可行,下面提供的选项 1 是我的想法。 @HughLin-MSFT arguments: --secret 是在azure-pipelines.yml 中处理此问题的方法吗?图像中嵌入的机密是否存在与之相关的安全问题? 意味着包含链接:docs.microsoft.com/en-us/azure/devops/pipelines/tasks/build/… @HughLin-MSFT 这对 Azure Pipelines 和 azure-pipelines.yml 中的变量不可行吗?又搞砸了几个小时,但没有运气。 【参考方案1】:

您可以在Dockerfile 中使用--build-arg 和相应的ARG 命令注入环境变量,但这不安全。密钥将嵌入图像中!

如果您想安全,您的选择:

    使用 Docker 构建的密钥外部下载您需要的任何内容,然后将其复制进去。 为 Docker 使用(实验性的,但错误较少)BuildKit 后端,它支持安全地传递秘密。 在另一个容器中运行网络服务器,使用--network container:&lt;thatcontainerid&gt; 运行您的 Docker 构建,现在您可以向该其他容器发送查询以获取机密信息。或者类似地在主机上运行网络服务器,--network host

更长的文章,其中还提到了其他一些替代方案,例如通过多阶段构建进行复制:https://pythonspeed.com/articles/docker-build-secrets/

【讨论】:

【参考方案2】:

您的python manage.py collectstatic 正在docker 容器中运行,它的os.environ['SECRET_KEY] 将尝试获取它正在运行的容器的环境变量。但是您在管道中设置的环境变量 SECRET_KEY 用于构建代理。

您可以尝试按照以下步骤将管道环境变量传递给 docker 容器。

1,我在你的 dockerfile 中添加了一个ARG 和一个ENV ARG SECRET; ENV SECRET_KEY $SECRET

ENV SECRET_KEY指的是ARG SECRET的值

FROM python:3.7-slim

ARG SECRET
ENV SECRET_KEY $SECRET

ENV PYTHONUNBUFFERED 1
WORKDIR /app
EXPOSE 5000
COPY requirements*.txt ./
RUN pip install -r requirements.txt
COPY . .
RUN python manage.py collectstatic
CMD ["gunicorn", "-b", ":5000", "--log-level", "info", "config.wsgi:application"]

2,我将 docker buildandpush 任务分离为停靠构建和停靠推送,因为 buildandpush 命令不能接受参数。

在 docker build 任务中。我将变量secretKey 传递给arguments 字段--build-arg SECRET=$(secretKey)。这样当 docker run build 时,ARG SECRET 将被 secretKey 替换。它将被传递给上面 dockerfile 中定义的ENV SECRET_KEY。这样 SECRET_KEY 将被设置为 docker 容器的环境变量。

那么你的python代码应该能够使用os.environ['SECRET_KEY]获取环境变量的值

stages:
- stage: Build
  displayName: Build and push stage
  jobs:  
  - job: Build
    displayName: Build
    pool:
      vmImage: $(vmImageName)
    steps:
    - task: Docker@2
      displayName: Build
      inputs:
        command: build
        repository: $(imageRepository)-api
        dockerfile: $(dockerfilePath)/api/Dockerfile
        containerRegistry: $(dockerRegistryServiceConnection)

        arguments: --build-arg SECRET=$(secretKey)

        tags: |
          $(tag)

    - task: Docker@2
      displayName: Push
      inputs:
        command: push
        repository: $(imageRepository)-api
        containerRegistry: $(dockerRegistryServiceConnection)
        tags: |
          $(tag)


- upload: manifests
  artifact: manifests

【讨论】:

这确实有效!但是,我现在遇到的问题是安全性。虽然执行RUN echo $SECRET_KEY 之类的操作不会打印出值,但当我拉取图像并运行docker history &lt;image id&gt; 时,它会打印出SECRET_KEY 的一部分。我没有使用arguments: --build-arg:,而是尝试使用arguments: --secret,但是这些值没有传递到Dockerfile中。有没有比使用--build-arg 更安全的方法? 如果您想使用 docker secrets,您可能需要使用 docker compose 并将 secret 设置为容器的 env 变量。可以参考this example。您也可以使用 powershell 任务在纯 powershell 命令中执行 docker 文件中的 docker 命令,并使用 powershell 脚本将管道密码设置为容器的 env 变量。 完美运行!谢谢 @cjones 是的。使用 BuildKit 和秘密。请参阅下面的答案。【参考方案3】:

在 Docker 18.09+ 中安全地执行此操作的方法是使用 Buildkit 和 secrets。

如下修改您的管道:

variables:
  DOCKER_BUILDKIT: 1

steps:
  - bash: |
      echo $SECRET_KEY > $PIPELINE_WORKSPACE/secret_key.txt
    displayName: Store secret
    env:
      SECRET_KEY: $(secretKey)

  - task: Docker@2
    displayName: Build
    inputs:
      command: build
      arguments: --secret id=secret_key,src=$(Pipeline.Workspace)/secret_key.txt

在你的 Dockerfile 中:

RUN --mount=type=secret,id=secret_key \
  export SECRET_KEY=$(cat /run/secrets/secret_key) && \
  python manage.py collectstatic
CMD ["gunicorn", "-b", ":5000", "--log-level", "info", "config.wsgi:application"]

【讨论】:

以上是关于将环境变量注入图像的构建阶段的主要内容,如果未能解决你的问题,请参考以下文章

将环境变量从 gulp 注入到 webpack

Post-build Actions 部分看不到注入的环境变量

Jenkins 动态参数插件注入构建变量

如何为运行脚本设置自定义环境变量

如何在 Varnish 配置中注入环境变量

在 Github Actions 中注入 .env.local 文件或自定义环境变量集到 yarn build