pip freeze vs pipreqs

Posted 2022-10-25 Allocator

问题

规范的python 项目文件,都会有一个项目依赖包的文件requirements.txt
文件里面罗列出了此项目运行依赖的所有python包, 以便于在切换到其他环境的时候, 使用pip install -r requirements.txt 指令完成项目依赖包的安装. requirements.txt文件引入就是为了方便项目在不同的环境下能够快速安装好依赖并且运行. 然而使用常规的命令pip freeze > ./requirements.txt生成requirements.txt 文件会将整个python环境中的依赖包都写入, 就会存在包过多的情况.

举个例子, 我用anaconda 构建一个local的开发环境, 在里面只用flask写一个最简单的rest api, 然后生成requirements.txt 使用pip freeze > ./requirements.txt 部分结果如下:

absl-py==0.15.0
aiofiles==0.4.0
aiohttp==3.6.2
alabaster==0.7.12
alembic==1.0.11
anaconda-client==1.7.2
anaconda-navigator==1.9.7
anaconda-project==0.8.2
aniso8601==9.0.1
appdirs==1.4.3
appnope==0.1.0
appscript==1.0.1
APScheduler==3.6.3
asn1crypto==0.24.0

...

Flask==2.0.2
Flask-Cors==3.0.10
Flask-RESTful==0.3.9
Flask-SQLAlchemy==2.5.1

...

整个虚拟环境中的所有依赖的包都下载下来了. 如果在项目根目录使用
pipreqs . --encoding=utf8 --force 指令覆盖式生成新的requirements.txt 结果如下

Flask_RESTful==0.3.9
Flask==2.0.2

因为这仅仅是一个web项目, 所以就只有这么两个包依赖.
如果加上一些ml相关的库(只是import) 和Python自带的内置包

import numpy as np
import json

生成的结果

numpy==1.19.5
Flask==2.0.2
Flask_RESTful==0.3.9

numpy的依赖也加入到requirements.txt文件中, json包不会出现在依赖中. 可见这种方式只会罗列当前项目中实际引入的包, 不会罗列未使用到的且不属于python内置包的其他环境中存在的第三方包.
所以对于项目包依赖文件生成而言pipreqs . --encoding=utf8 --force 生成的依赖更加精确.

总结

推荐使用pipreqs . --encoding=utf8 --force 生成项目包依赖文件. 即便是项目里面具有machine learning的模型, 项目要docker容器化部署, 基础镜像里面都会安装好对应版本的mini-conda, 主要是保证环境包的完整性. 那么基本上额外依赖的包就非常少了. 只需要用pipreqs . --encoding=utf8 --force 命令生成的requirements.txt精却罗列本项目的全部依赖的包(anaconda的依赖包都可以在列表中删除)就可以了. 既可以让构建镜像变的更快, 也更清楚的表达项目包依赖.