使用下载缓存将 PIP 包安装到 Virtualenv
Posted
技术标签:
【中文标题】使用下载缓存将 PIP 包安装到 Virtualenv【英文标题】:Installing PIP packages to a Virtualenv using a download cache 【发布时间】:2012-09-13 08:18:43 【问题描述】:使用缓存包将 pip 包安装到 virtualenv 的正确方法是什么?我试过设置 --timeout=360
和 --use-mirrors
,但是 pypi 的性能太差了,它经常挂起或断开连接,使部署成为废话。
所以,我的计划是使用 --download-cache 选项来预下载所有包存档(但不安装它们),例如:
pip install --upgrade --timeout=120 --use-mirrors --no-install --download-cache /usr/local/pip/cache -r pip-requirements.txt
然后在安装到 virtualenv 的过程中指定这个缓存位置,例如:
virtualenv /usr/local/myapp/.env
. /usr/local/myapp/.env/bin/activate; pip install --no-download --download-cache /usr/local/pip/cache -r pip-requirements.txt
deactivate
创建缓存非常令人沮丧,因为 pip 似乎不确定地将下载的包保存到缓存目录。具体来说,它拒绝缓存Django==1.4.0
,说“这个要求已经满足了”,所以我不得不使用--force-reinstall
。
使用缓存安装是目前我遇到的问题。运行上面的命令给了我错误:
Could not install requirement Django==1.4.0 (from -r pip-requirements.txt (line 1)) because source folder /usr/local/myapp/.env/build/Django does not exist (perhaps --no-download was used without first running an equivalent install with --no-install?)
Storing complete log in /home/chris/.pip/pip.log
这是什么意思?
文件:
http%3A%2F%2Fpypi.python.org%2Fpackages%2Fsource%2FD%2FDjango%2FDjango-1.4.tar.gz
http%3A%2F%2Fpypi.python.org%2Fpackages%2Fsource%2FD%2FDjango%2FDjango-1.4.tar.gz.content-type
肯定存在于缓存目录中,我使用了--no-install
选项。
我做错了什么?
【问题讨论】:
相关:有没有更好的 cdn/mirror 我可以将应用程序指向,而不是创建一个? 我认为使用“pip 包”这个词是错误的。也许你的意思是 PyPI 包或 Python 包 【参考方案1】:问题似乎是--download-cache
只能用于指定缓存用于下载,不能用于安装。因此pip
仍在查看/usr/local/myapp/.env/build/Django
而不是/usr/local/pip/cache
。你试过搬家吗
pip install --upgrade --timeout=120 --use-mirrors --no-install --download-cache /usr/local/pip/cache -r pip-requirements.txt
virtualenv
创建后?我想知道这是否会有所帮助。
您可能还想尝试导出PIP_DOWNLOAD_CACHE
,看看它是否在不使用--download-cache
的情况下工作。
以下是我认为可行的方法:
pip install --no-install --use-mirrors --download=/DIRNAME PKGNAME
pip install --find-links=file:///DIRNAME --no-index --index-url=file:///dev/null PKGNAME
现在,实际上,这是我将使用的工具来代替上述所有工具,它可以更优雅、更可靠地解决所有问题:pip2pi大卫·伍尔弗(David Wolever)。
来自文档:
pip2pi 根据 pip 需求构建一个兼容 PyPI 的包存储库
pip2pi
允许您使用两个简单的命令创建自己的 PyPI 索引:
要镜像一个包及其所有要求,请使用pip2tgz
:
$ cd /tmp/; mkdir package/
$ pip2tgz packages/ httpie==0.2
...
$ ls packages/
Pygments-1.5.tar.gz
httpie-0.2.0.tar.gz
requests-0.14.0.tar.gz
从上一个目录构建包索引:
$ ls packages/
bar-0.8.tar.gz
baz-0.3.tar.gz
foo-1.2.tar.gz
$ dir2pi packages/
$ find packages/
/httpie-0.2.0.tar.gz
/Pygments-1.5.tar.gz
/requests-0.14.0.tar.gz
/simple
/simple/httpie
/simple/httpie/httpie-0.2.0.tar.gz
/simple/Pygments
/simple/Pygments/Pygments-1.5.tar.gz
/simple/requests
/simple/requests/requests-0.14.0.tar.gz
要从您在第 2 步中构建的索引安装,您可以简单地使用:
pip install --index-url=file:///tmp/packages/simple/ httpie==0.2
奖励:您甚至可以使用pip2pi
将自己的索引镜像到远程主机。
【讨论】:
以上是关于使用下载缓存将 PIP 包安装到 Virtualenv的主要内容,如果未能解决你的问题,请参考以下文章