在带有“源”的 Dockerfile 中使用 RUN 指令不起作用

Posted

技术标签:

【中文标题】在带有“源”的 Dockerfile 中使用 RUN 指令不起作用【英文标题】：Using the RUN instruction in a Dockerfile with 'source' does not work 【发布时间】：2014-01-05 07:01:55 【问题描述】：

我有一个 Dockerfile，我正在整理它来安装一个 vanilla python 环境（我将在其中安装一个应用程序，但在以后的日期）。

FROM ubuntu:12.04

# required to build certain python libraries
RUN apt-get install python-dev -y

# install pip - canonical installation instructions from pip-installer.org
# http://www.pip-installer.org/en/latest/installing.html
ADD https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py /tmp/ez_setup.py
ADD https://raw.github.com/pypa/pip/master/contrib/get-pip.py /tmp/get-pip.py
RUN python /tmp/ez_setup.py
RUN python /tmp/get-pip.py
RUN pip install --upgrade pip 

# install and configure virtualenv
RUN pip install virtualenv 
RUN pip install virtualenvwrapper
ENV WORKON_HOME ~/.virtualenvs
RUN mkdir -p $WORKON_HOME
RUN source /usr/local/bin/virtualenvwrapper.sh

构建运行正常，直到最后一行，我得到以下异常：

[previous steps 1-9 removed for clarity]
...
Successfully installed virtualenvwrapper virtualenv-clone stevedore
Cleaning up...
 ---> 1fc253a8f860
Step 10 : ENV WORKON_HOME ~/.virtualenvs
 ---> Running in 8b0145d2c80d
 ---> 0f91a5d96013
Step 11 : RUN mkdir -p $WORKON_HOME
 ---> Running in 9d2552712ddf
 ---> 3a87364c7b45
Step 12 : RUN source /usr/local/bin/virtualenvwrapper.sh
 ---> Running in c13a187261ec
/bin/sh: 1: source: not found

如果我 ls 进入该目录（只是为了测试前面的步骤是否已提交），我可以看到文件按预期存在：

$ docker run 3a87 ls /usr/local/bin
easy_install
easy_install-2.7
pip
pip-2.7
virtualenv
virtualenv-2.7
virtualenv-clone
virtualenvwrapper.sh
virtualenvwrapper_lazy.sh

如果我尝试只运行source 命令，我会得到与上面相同的“未找到”错误。但是，如果我运行交互式 shell 会话，则 source 确实有效：

$ docker run 3a87 bash
source
bash: line 1: source: filename argument required
source: usage: source filename [arguments]

我可以从这里运行脚本，然后愉快地访问workon、mkvirtualenv等

我已经进行了一些挖掘，最初看起来问题可能在于 bash 作为 Ubuntu 登录 shell 和 dash 之间的区别 作为 Ubuntu system shell，dash 不支持 source 命令。

然而，这个问题的答案似乎是使用 '.' 而不是 source，但这只会导致 Docker 运行时因 go panic 异常而崩溃。

从 Dockerfile RUN 指令运行 shell 脚本以解决此问题的最佳方法是什么（正在运行 Ubuntu 12.04 LTS 的默认基础映像）。

【问题讨论】：

【参考方案1】：

原答案

FROM ubuntu:14.04
RUN rm /bin/sh && ln -s /bin/bash /bin/sh

这应该适用于每个 Ubuntu docker 基础镜像。我通常为我编写的每个 Dockerfile 添加这一行。

由关心的旁观者编辑

如果你想获得“在整个 Dockerfile 中使用bash 而不是sh”的效果，而不改变和可能损坏*里面的操作系统容器，你可以tell Docker your intention。这样做是这样的：

SHELL ["/bin/bash", "-c"]

* 可能的损害是 Linux 中的 许多 脚本（在全新的 Ubuntu 上安装 grep -rHInE '/bin/sh' / 返回超过 2700 个结果）期望在 /bin/sh 上使用完全 POSIX shell。 bash shell 不仅仅是 POSIX 加上额外的内置函数。有些内置函数（以及更多）的行为与 POSIX 中的完全不同。我完全支持避免使用 POSIX（以及你没有在另一个 shell 上测试的任何脚本都会工作的谬论，因为你认为你避免了 basmisms）并且只使用 bashism。但是您可以在脚本中使用适当的 shebang 来做到这一点。不是通过从整个操作系统下拉出 POSIX shell。 （除非您有时间验证 Linux 附带的所有 2700 多个脚本以及您安装的任何软件包中的所有脚本。）

下面这个答案的更多细节。 https://***.com/a/45087082/117471

【讨论】：

这个可以稍微简化一下：ln -snf /bin/bash /bin/sh ln -s /bin/bash /bin/sh 这是一个糟糕的主意。 ubuntu 以 /bin/sh 为目标来冲刺是有原因的。 dash 是一个完全 posix shell，它比 bash 快几个数量级。将 /bin/sh 链接到 bash 会大大降低服务器的性能。引用：wiki.ubuntu.com/DashAsBinSh 这是一个肮脏的 hack，而不是解决方案。如果您的脚本由sh shell 运行，但您想要bash，则正确的解决方案是让sh 进程一次性调用bash，例如bash -c 'source /script.sh && …', or 你甚至可以完全避免 bashisms（如 source），而是选择只使用有效的 POSIX 等价物，例如. /script.sh。 （注意. 后面的空格！）最后，如果您的脚本是可执行的（不仅仅是可获取的），从不让您的脚本与#!/bin/sh shebang 放在一起，如果它实际上不兼容 sh。请改用#!/bin/bash。【参考方案2】：

RUN 指令的默认 shell 是 ["/bin/sh", "-c"]。

RUN "source file"      # translates to: RUN /bin/sh -c "source file"

使用SHELL instruction，您可以更改Dockerfile中后续RUN指令的默认shell：

SHELL ["/bin/bash", "-c"]

现在，默认 shell 已更改，您无需在每个 RUN 指令中显式定义它

RUN "source file"    # now translates to: RUN /bin/bash -c "source file"

附加说明：您还可以添加--login 选项，该选项将启动登录shell。这意味着例如 ~/.bashrc 会被读取，并且您不需要在命令之前明确指定它

【讨论】：

【参考方案3】：

最简单的方法是使用点运算符代替 source，它相当于 bash source 命令的 sh：

代替：

RUN source /usr/local/bin/virtualenvwrapper.sh

用途：

RUN . /usr/local/bin/virtualenvwrapper.sh

【讨论】：

【参考方案4】：

我遇到了同样的问题，为了在 virtualenv 中执行 pip install 我不得不使用这个命令：

RUN pip install virtualenv virtualenvwrapper
RUN mkdir -p /opt/virtualenvs
ENV WORKON_HOME /opt/virtualenvs
RUN /bin/bash -c "source /usr/local/bin/virtualenvwrapper.sh \
    && mkvirtualenv myapp \
    && workon myapp \
    && pip install -r /mycode/myapp/requirements.txt"

希望对你有帮助。

【讨论】：

【参考方案5】：

如果您使用的是 Docker 1.12 或更新版本，请使用 SHELL ！

简答：

一般：

SHELL ["/bin/bash", "-c"]

对于 python vituralenv：

SHELL ["/bin/bash", "-c", "source /usr/local/bin/virtualenvwrapper.sh"]

长答案：

来自https://docs.docker.com/engine/reference/builder/#shell

SHELL ["executable", "parameters"]

SHELL 指令允许用于 shell 形式的默认 shell 要覆盖的命令。 Linux 上的默认 shell 是 ["/bin/sh", "-c"]，在 Windows 上是 ["cmd", "/S", "/C"]。贝壳 指令必须以 JSON 格式写入 Dockerfile。

SHELL 指令在 Windows 上特别有用 是两种常用且完全不同的原生 shell：cmd 和 powershell，以及其他可用的 shell，包括 sh。

SHELL 指令可以出现多次。每个外壳 指令覆盖所有先前的 SHELL 指令，并影响所有 后续指示。例如：

FROM microsoft/windowsservercore

# Executed as cmd /S /C echo default
RUN echo default

# Executed as cmd /S /C powershell -command Write-Host default
RUN powershell -command Write-Host default

# Executed as powershell -command Write-Host hello
SHELL ["powershell", "-command"]
RUN Write-Host hello

# Executed as cmd /S /C echo hello
SHELL ["cmd", "/S"", "/C"]
RUN echo hello

以下指令可能会受到 SHELL 指令的影响 在 Dockerfile 中使用它们的 shell 形式时：RUN、CMD 和 入口点。

以下示例是在 Windows 上发现的常见模式，它可以 使用 SHELL 指令进行简化：

...
RUN powershell -command Execute-MyCmdlet -param1 "c:\foo.txt"
...

docker调用的命令是：

cmd /S /C powershell -command Execute-MyCmdlet -param1 "c:\foo.txt"

这是低效的，原因有两个。首先，有一个不必要的 正在调用 cmd.exe 命令处理器（又名 shell）。二、每次RUN shell 形式的指令需要额外的 powershell 命令 为命令添加前缀。

为了提高效率，可以采用两种机制之一。 一种是使用 RUN 命令的 JSON 形式，例如：

...
RUN ["powershell", "-command", "Execute-MyCmdlet", "-param1 \"c:\\foo.txt\""]
...

虽然 JSON 形式是明确的并且不使用不必要的 cmd.exe，它确实需要通过双引号和 逃脱。另一种机制是使用 SHELL 指令和 shell 形式，为 Windows 用户提供更自然的语法， 尤其是与转义解析器指令结合使用时：

# escape=`

FROM microsoft/nanoserver
SHELL ["powershell","-command"]
RUN New-Item -ItemType Directory C:\Example
ADD Execute-MyCmdlet.ps1 c:\example\
RUN c:\example\Execute-MyCmdlet -sample 'hello world'

导致：

PS E:\docker\build\shell> docker build -t shell .
Sending build context to Docker daemon 4.096 kB
Step 1/5 : FROM microsoft/nanoserver
 ---> 22738ff49c6d
Step 2/5 : SHELL powershell -command
 ---> Running in 6fcdb6855ae2
 ---> 6331462d4300
Removing intermediate container 6fcdb6855ae2
Step 3/5 : RUN New-Item -ItemType Directory C:\Example
 ---> Running in d0eef8386e97


    Directory: C:\


Mode                LastWriteTime         Length Name
----                -------------         ------ ----
d-----       10/28/2016  11:26 AM                Example


 ---> 3f2fbf1395d9
Removing intermediate container d0eef8386e97
Step 4/5 : ADD Execute-MyCmdlet.ps1 c:\example\
 ---> a955b2621c31
Removing intermediate container b825593d39fc
Step 5/5 : RUN c:\example\Execute-MyCmdlet 'hello world'
 ---> Running in be6d8e63fe75
hello world
 ---> 8e559e9bf424
Removing intermediate container be6d8e63fe75
Successfully built 8e559e9bf424
PS E:\docker\build\shell>

SHELL 指令也可用于修改 外壳运行。例如，使用 SHELL cmd /S /C /V:ON|OFF on Windows，延迟的环境变量扩展语义可能是 修改。

SHELL 指令也可以在 Linux 上使用 需要 shell，例如 zsh、csh、tcsh 等。

在 Docker 1.12 中添加了 SHELL 功能。

【讨论】：

【参考方案6】：

在此页面上的答案的基础上，我要补充一点，您必须知道每个 RUN 语句都使用 /bin/sh -c 独立于其他语句运行，因此不会获得通常在登录 shell 中获取的任何环境变量。

到目前为止，我发现的最好方法是将脚本添加到 /etc/bash.bashrc，然后以 bash 登录名调用每个命令。

RUN echo "source /usr/local/bin/virtualenvwrapper.sh" >> /etc/bash.bashrc
RUN /bin/bash --login -c "your command"

例如，您可以安装和设置 virtualenvwrapper，创建虚拟环境，在使用 bash 登录时激活它，然后将您的 python 模块安装到此环境中：

RUN pip install virtualenv virtualenvwrapper
RUN mkdir -p /opt/virtualenvs
ENV WORKON_HOME /opt/virtualenvs
RUN echo "source /usr/local/bin/virtualenvwrapper.sh" >> /etc/bash.bashrc
RUN /bin/bash --login -c "mkvirtualenv myapp"
RUN echo "workon mpyapp" >> /etc/bash.bashrc
RUN /bin/bash --login -c "pip install ..."

阅读bash startup files 上的手册有助于了解什么时候采购。

【讨论】：

【参考方案7】：

根据https://docs.docker.com/engine/reference/builder/#run，RUN 的默认 [Linux] shell 是/bin/sh -c。您似乎期待 bashisms，因此您应该使用 RUN 的“执行形式”来指定您的 shell。

RUN ["/bin/bash", "-c", "source /usr/local/bin/virtualenvwrapper.sh"]

否则，使用 RUN 的“shell 形式”并指定不同的 shell 会导致嵌套 shell。

# don't do this...
RUN /bin/bash -c "source /usr/local/bin/virtualenvwrapper.sh"
# because it is the same as this...
RUN ["/bin/sh", "-c", "/bin/bash" "-c" "source /usr/local/bin/virtualenvwrapper.sh"]

如果您有多个命令需要不同的 shell，您应该阅读https://docs.docker.com/engine/reference/builder/#shell 并通过将其放在您的 RUN 命令之前来更改您的默认 shell：

SHELL ["/bin/bash", "-c"]

最后，如果你在 root 用户的 .bashrc 文件中放置了你需要的任何东西，你可以在 SHELL 或 RUN 命令中添加 -l 标志，使其成为登录 shell 并确保它获取来源。

注意：我故意忽略了一个事实，即将脚本作为 RUN 中的唯一命令是毫无意义的。

【讨论】：

【参考方案8】：

根据 Docker 文档

要使用“/bin/sh”以外的其他 shell，请使用传入所需 shell 的 exec 形式。例如，

RUN ["/bin/bash", "-c", "echo hello"]

见https://docs.docker.com/engine/reference/builder/#run

【讨论】：

【参考方案9】：

如果你有可用的SHELL，你应该使用this answer——不要使用接受的那个，这会迫使你将 dockerfile 的其余部分放在每个@987654322 的一个命令中@。

如果您使用的是旧 Docker 版本并且无权访问 SHELL，只要您不需要来自 .bashrc 的任何内容（这在 Dockerfiles 中很少见），这将起作用：

ENTRYPOINT ["bash", "--rcfile", "/usr/local/bin/virtualenvwrapper.sh", "-ci"]

注意-i 是让 bash 读取 rcfile 所必需的。

【讨论】：

【参考方案10】：

我在 Dockerfile 中运行 source 时也遇到了问题

这对于构建 CentOS 6.6 Docker 容器运行良好，但在 Debian 容器中出现问题

RUN cd ansible && source ./hacking/env-setup

这就是我解决它的方法，可能不是一种优雅的方式，但这对我有用

RUN echo "source /ansible/hacking/env-setup" >> /tmp/setup
RUN /bin/bash -C "/tmp/setup"
RUN rm -f /tmp/setup

【讨论】：

【参考方案11】：

您可能需要运行 bash -v 以查看正在采购的内容。

我会做以下事情而不是玩符号链接：

RUN echo "source /usr/local/bin/virtualenvwrapper.sh" >> /etc/bash.bashrc

【讨论】：

【参考方案12】：

这可能会发生，因为source 是 bash 的内置文件，而不是文件系统某处的二进制文件。您是否打算让您采购的脚本在之后更改容器？

【讨论】：

【参考方案13】：

我最终将我的环境内容放入 .profile 并变异了 SHELL 之类的东西

SHELL ["/bin/bash", "-c", "-l"]

# Install ruby version specified in .ruby-version
RUN rvm install $(<.ruby-version)

# Install deps
RUN rvm use $(<.ruby-version) && gem install bundler && bundle install

CMD rvm use $(<.ruby-version) && ./myscript.rb

【讨论】：

【参考方案14】：

如果你只是想用 pip 安装一些东西到 virtualenv 中，你可以修改 PATH env 以首先查看 virtualenv 的 bin 文件夹

ENV PATH="/path/to/venv/bin:$PATH"

然后 Dockerfile 中的任何 pip install 命令将首先找到 /path/to/venv/bin/pip 并使用它，它将安装到该 virtualenv 而不是系统 python。

【讨论】：

【参考方案15】：

这是一个 Dockerfile 示例，它利用多种巧妙的技术为每个RUN 节运行完整的 conda 环境。您可以使用类似的方法在脚本文件中执行任意准备。

注意：在登录/交互式与非登录/非交互式 shell、信号、exec、处理多个参数的方式、引用、how CMD and ENTRYPOINT interact 以及一百万个其他方面，有很多细微差别，所以如果在处理这些事情时，事情发生了横向变化，请不要气馁。我花了很多令人沮丧的时间来挖掘各种文学作品，但我仍然不太明白它们是如何点击的。

## Conda with custom entrypoint from base ubuntu image
## Build with e.g. `docker build -t monoconda .`
## Run with `docker run --rm -it monoconda bash` to drop right into
## the environment `foo` !
FROM ubuntu:18.04

## Install things we need to install more things
RUN apt-get update -qq &&\
    apt-get install -qq curl wget git &&\
    apt-get install -qq --no-install-recommends \
        libssl-dev \
        software-properties-common \
    && rm -rf /var/lib/apt/lists/*

## Install miniconda
RUN wget -nv https://repo.anaconda.com/miniconda/Miniconda3-4.7.12-Linux-x86_64.sh -O ~/miniconda.sh && \
    /bin/bash ~/miniconda.sh -b -p /opt/conda && \
    rm ~/miniconda.sh && \
    /opt/conda/bin/conda clean -tipsy && \
    ln -s /opt/conda/etc/profile.d/conda.sh /etc/profile.d/conda.sh

## add conda to the path so we can execute it by name
ENV PATH=/opt/conda/bin:$PATH

## Create /entry.sh which will be our new shell entry point. This performs actions to configure the environment
## before starting a new shell (which inherits the env).
## The exec is important! This allows signals to pass
RUN     (echo '#!/bin/bash' \
    &&   echo '__conda_setup="$(/opt/conda/bin/conda shell.bash hook 2> /dev/null)"' \
    &&   echo 'eval "$__conda_setup"' \
    &&   echo 'conda activate "$CONDA_TARGET_ENV:-base"' \
    &&   echo '>&2 echo "ENTRYPOINT: CONDA_DEFAULT_ENV=$CONDA_DEFAULT_ENV"' \
    &&   echo 'exec "$@"'\
        ) >> /entry.sh && chmod +x /entry.sh

## Tell the docker build process to use this for RUN.
## The default shell on Linux is ["/bin/sh", "-c"], and on Windows is ["cmd", "/S", "/C"]
SHELL ["/entry.sh", "/bin/bash", "-c"]
## Now, every following invocation of RUN will start with the entry script
RUN     conda update conda -y

## Create a dummy env
RUN     conda create --name foo

## I added this variable such that I have the entry script activate a specific env
ENV CONDA_TARGET_ENV=foo

## This will get installed in the env foo since it gets activated at the start of the RUN stanza
RUN  conda install pip

## Configure .bashrc to drop into a conda env and immediately activate our TARGET env
RUN conda init && echo 'conda activate "$CONDA_TARGET_ENV:-base"' >>  ~/.bashrc
ENTRYPOINT ["/entry.sh"]

【讨论】：

【参考方案16】：

我已经处理了使用 Django Web 框架开发的应用程序的类似场景，这些步骤对我来说非常有效：

我的 Dockerfile 的内容 
[mlazo@srvjenkins project_textile]$ cat docker/Dockerfile.debug 
FROM malazo/project_textile_ubuntu:latest 

ENV PROJECT_DIR=/proyectos/project_textile PROJECT_NAME=project_textile WRAPPER_PATH=/usr/share/virtualenvwrapper/virtualenvwrapper.sh

COPY . $PROJECT_DIR/
WORKDIR $PROJECT_DIR

RUN echo "source $WRAPPER_PATH" > ~/.bashrc
SHELL ["/bin/bash","-c","-l"]
RUN     mkvirtualenv -p $(which python3) $PROJECT_NAME && \
        workon $PROJECT_NAME && \
        pip3 install -r requirements.txt 

EXPOSE 8000

ENTRYPOINT ["tests/container_entrypoint.sh"]
CMD ["public/manage.py","runserver","0:8000"]
ENTRYPOINT 文件“tests/container_entrypoint.sh”的内容： 
[mlazo@srvjenkins project_textile]$ cat tests/container_entrypoint.sh
#!/bin/bash
# *-* encoding : UTF-8 *-*
sh tests/deliver_env.sh
source ~/.virtualenvs/project_textile/bin/activate 
exec python "$@"
最后，我部署容器的方式是： 
[mlazo@srvjenkins project_textile]$ cat ./tests/container_deployment.sh 
#!/bin/bash

CONT_NAME="cont_app_server"
IMG_NAME="malazo/project_textile_app"
[ $(docker ps -a |grep -i $CONT_NAME |wc -l) -gt 0 ] && docker rm -f $CONT_NAME 
docker run --name $CONT_NAME -p 8000:8000 -e DEBUG=$DEBUG -e mysql_USER=$MYSQL_USER -e MYSQL_PASSWORD=$MYSQL_PASSWORD -e MYSQL_HOST=$MYSQL_HOST -e MYSQL_DATABASE=$MYSQL_DATABASE -e MYSQL_PORT=$MYSQL_PORT  -d $IMG_NAME

我真的希望这对其他人有帮助。

您好，

【讨论】：

【参考方案17】：

我遇到了同样的问题。如果您还使用 python 基础映像，则可以将 shell 脚本中的 shebang 行更改为 #!/bin/bash。 例如，参见Manuel Lazo 中的container_entrypoint.sh。

【讨论】：

以上是关于在带有“源”的 Dockerfile 中使用 RUN 指令不起作用的主要内容，如果未能解决你的问题，请参考以下文章

我可以在 JDBC URL 模式下使用带有自定义 Dockerfile 的 Testcontainers 吗？

如何使用本地 nuget 包源进行 Dockerfile dotnet restore [重复]

Docker ubuntu apt-get更换国内源解决Dockerfile构建速度过慢

Dockerfile中echo使用

dockerfile用yum安装mysql

dockerfile