Python--Flask Django等常用库总结鹏越·学霸专区
Posted 鹏越网络空间安全研究院
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python--Flask Django等常用库总结鹏越·学霸专区相关的知识,希望对你有一定的参考价值。
我们要做什么?
- 基于 awesome-python 列表,我们将对其中的各个资源项进行编译整理。此外还将从其他来源补充好资源。
- 整理后的内容,将收录在[伯乐在线资源频道](http://hao.jobbole.com/)。可参考已整理的内容:
- 《[Scrapy:Python的爬虫框架](http://hao.jobbole.com/python-scrapy/)》
- 《[Flask:一个使用Python编写的轻量级Web应用框架](http://hao.jobbole.com/flask/)》
环境管理
管理 Python 版本和环境的工具
* p:非常简单的交互式 python 版本管理工具。[官网](https://github.com/qw3rtman/p)
* pyenv:简单的 Python 版本管理工具。[官网](https://github.com/yyuu/pyenv)
* Vex:可以在虚拟环境中执行命令。[官网](https://github.com/sashahart/vex)
* virtualenv:创建独立 Python 环境的工具。[官网](https://pypi.python.org/pypi/virtualenv)
* virtualenvwrapper:virtualenv 的一组扩展。[官网](https://pypi.python.org/pypi/virtualenvwrapper)
包管理
管理包和依赖的工具。
* pip:Python 包和依赖关系管理工具。[官网](https://pip.pypa.io/)
* pip-tools:保证 Python 包依赖关系更新的一组工具。[官网](https://github.com/nvie/pip-tools)
* conda:跨平台,Python 二进制包管理工具。[官网](https://github.com/conda/conda/)
* Curdling:管理 Python 包的命令行工具。[官网](http://clarete.li/curdling/)
* wheel:Python 分发的新标准,意在取代 eggs。[官网](http://pythonwheels.com/)
包仓库
本地 PyPI 仓库服务和代{过}{滤}理。
* warehouse:下一代 PyPI。[官网](https://github.com/pypa/warehouse)
* Warehouse:PyPA 提供的 PyPI 镜像工具。[官网](https://warehouse.python.org/) [bandersnatch](https://bitbucket.org/pypa/bandersnatch)
* devpi:PyPI 服务和打包/测试/分发工具。[官网](http://doc.devpi.net/)
* localshop:本地 PyPI 服务(自定义包并且自动对 PyPI 镜像)。[官网](https://github.com/mvantellingen/localshop)
分发
打包为可执行文件以便分发。
* PyInstaller:将 Python 程序转换成独立的执行文件(跨平台)。[官网](https://github.com/pyinstaller/pyinstaller)
* dh-virtualenv:构建并将 virtualenv 虚拟环境作为一个 Debian 包来发布。[官网](http://dh-virtualenv.readthedocs.org/)
* Nuitka:将脚本、模块、包编译成可执行文件或扩展模块。[官网](http://nuitka.net/)
* py2app:将 Python 脚本变为独立软件包(Mac OS X)。[官网](http://pythonhosted.org/py2app/)
* py2exe:将 Python 脚本变为独立软件包(Windows)。[官网](http://www.py2exe.org/)
* pynsist:一个用来创建 Windows 安装程序的工具,可以在安装程序中打包 Python本身。[官网](http://pynsist.readthedocs.org/)
构建工具
将源码编译成软件。
* buildout:一个构建系统,从多个组件来创建,组装和部署应用。[官网](http://www.buildout.org/)
* BitBake:针对嵌入式 Linux 的类似 make 的构建工具。[官网](http://www.yoctoproject.org/docs/1.6/bitbake-user-manual/bitbake-user-manual.html)
* fabricate:对任何语言自动找到依赖关系的构建工具。[官网](https://code.google.com/archive/p/fabricate)
* PlatformIO:多平台命令行构建工具。[官网](https://github.com/platformio/platformio)
* PyBuilder:纯 Python 实现的持续化构建工具。[官网](https://github.com/pybuilder/pybuilder)
* SCons:软件构建工具。[官网](http://www.scons.org/)
交互式解析器
交互式 Python 解析器。
* IPython:功能丰富的工具,非常有效的使用交互式 Python。[官网](https://github.com/ipython/ipython)
* [bpython](http://hao.jobbole.com/bpython/):界面丰富的 Python 解析器。[官网](http://bpython-interpreter.org/)
* ptpython:高级交互式Python解析器, 构建于[python-prompt-toolkit](https://github.com/jonathanslenders/python-prompt-toolkit) 之上。[官网](https://github.com/jonathanslenders/ptpython)
文件
文件管理和 MIME(多用途的网际邮件扩充协议)类型检测。
* imghdr:(Python 标准库)检测图片类型。[官网](https://docs.python.org/2/library/imghdr.html)
* mimetypes:(Python 标准库)将文件名映射为 MIME 类型。[官网](https://docs.python.org/2/library/mimetypes.html)
* path.py:对 os.path 进行封装的模块。[官网](https://github.com/jaraco/path.py)
* pathlib:(Python3.4+ 标准库)跨平台的、面向对象的路径操作库。[官网](https://pathlib.readthedocs.org/en/pep428/)
* python-magic:文件类型检测的第三方库 libmagic 的 Python 接口。[官网](https://github.com/ahupp/python-magic)
* Unipath:用面向对象的方式操作文件和目录。[官网](https://github.com/mikeorr/Unipath)
* watchdog:管理文件系统事件的 API 和 shell 工具[官网](https://github.com/gorakhargosh/watchdog)
日期和时间
操作日期和时间的类库。
* arrow:更好的 Python 日期时间操作类库。[官网](https://github.com/crsmithdev/arrow)
* Chronyk:Python 3 的类库,用于解析手写格式的时间和日期。[官网](https://github.com/KoffeinFlummi/Chronyk)
* dateutil:Python datetime 模块的扩展。[官网](https://pypi.python.org/pypi/python-dateutil)
* delorean:解决 Python 中有关日期处理的棘手问题的库。[官网](https://github.com/myusuf3/delorean/)
* moment:一个用来处理时间和日期的Python库。灵感来自于Moment.js。[官网](https://github.com/zachwill/moment)
* PyTime:一个简单易用的Python模块,用于通过字符串来操作日期/时间。[官网](https://github.com/shinux/PyTime)
* pytz:现代以及历史版本的世界时区定义。将时区数据库引入Python。[官网](https://launchpad.net/pytz)
* when.py:提供用户友好的函数来帮助用户进行常用的日期和时间操作。[官网](https://github.com/dirn/When.py)
文本处理
用于解析和操作文本的库。
* 通用
* [chardet](http://hao.jobbole.com/chardet/):字符编码检测器,兼容 Python2 和 Python3。[官网](https://github.com/chardet/chardet)
* difflib:(Python 标准库)帮助我们进行差异化比较。[官网](https://docs.python.org/2/library/difflib.html)
* ftfy:让Unicode文本更完整更连贯。[官网](https://github.com/LuminosoInsight/python-ftfy)
* fuzzywuzzy:模糊字符串匹配。[官网](https://github.com/seatgeek/fuzzywuzzy)
* Levenshtein:快速计算编辑距离以及字符串的相似度。[官网](https://github.com/ztane/python-Levenshtein/)
* pangu.py:在中日韩语字符和数字字母之间添加空格。[官网](https://github.com/vinta/pangu.py)
* yfiglet-figlet:[pyfiglet -figlet](https://github.com/pwaller/pyfiglet) 的 Python实现。
* shortuuid:一个生成器库,用以生成简洁的,明白的,URL 安全的 UUID。[官网](https://github.com/stochastic-technologies/shortuuid)
* unidecode:Unicode 文本的 ASCII 转换形式 。[官网](https://pypi.python.org/pypi/Unidecode)
* uniout:打印可读的字符,而不是转义的字符串。[官网](https://github.com/moskytw/uniout)
* xpinyin:一个用于把汉字转换为拼音的库。[官网](https://github.com/lxneng/xpinyin)
* simplejson:Python的JSON编码、解码器。[官网](https://simplejson.readthedocs.io/en/latest/)、[GitHub](https://github.com/simplejson/simplejson)
* Slug化
* awesome-slugify:一个 Python slug 化库,可以保持 Unicode。[官网](https://github.com/dimka665/awesome-slugify)
* python-slugify:Python slug 化库,可以把 unicode 转化为 ASCII。[官网](https://github.com/un33k/python-slugify)
* unicode-slugify:一个 slug 工具,可以生成 unicode slugs ,需要依赖 Django 。[官网](https://github.com/mozilla/unicode-slugify)
* 解析器
* PLY:lex 和 yacc 解析工具的 Python 实现。[官网](http://www.dabeaz.com/ply/)
* Pygments:通用语法高亮工具。[官网](http://pygments.org/)
* pyparsing:生成通用解析器的框架。[官网](http://pyparsing.wikispaces.com/)
* python-nameparser:把一个人名分解为几个独立的部分。[官网](https://github.com/derek73/python-nameparser)
* python-user-agents:浏览器 user agent 解析器。[官网](https://github.com/selwin/python-user-agents)
* sqlparse:一个无验证的 SQL 解析器。[官网](https://sqlparse.readthedocs.org/en/latest/)
特殊文本格式处理
一些用来解析和操作特殊文本格式的库。
* 通用
* tablib:一个用来处理中表格数据的模块。[官网](https://github.com/kennethreitz/tablib)
* Office
* Marmir:把输入的Python 数据结构转换为电子表单。[官网](https://github.com/brianray/mm)
* openpyxl:一个用来读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件的库。[官网](https://openpyxl.readthedocs.org/en/latest/)
* python-docx:读取,查询以及修改 Microsoft Word 2007/2008 docx 文件。[官网](https://github.com/python-openxml/python-docx)
* unoconv:在 LibreOffice/OpenOffice 支持的任意文件格式之间进行转换。[官网](https://github.com/dagwieers/unoconv)
* XlsxWriter:一个用于创建 Excel .xlsx 文件的 Python 模块。[官网](https://xlsxwriter.readthedocs.org/en/latest/)
* xlwings:一个使得在 Excel 中方便调用 Python 的库(反之亦然),基于 BSD 协议。[官网](http://xlwings.org/)
* [xlwt](http://hao.jobbole.com/xlwt/):读写 Excel 文件的数据和格式信息。[官网](https://github.com/python-excel/xlwt) / [xlrd](https://github.com/python-excel/xlrd)
* relatorio:模板化OpenDocument 文件。[官网](http://relatorio.tryton.org/)
* PDFMiner:一个用于从PDF文档中抽取信息的工具。[官网](https://github.com/euske/pdfminer)
* PyPDF2:一个可以分割,合并和转换 PDF 页面的库。[官网](https://github.com/mstamy2/PyPDF2)
* ReportLab:快速创建富文本 PDF 文档。[官网](http://www.reportlab.com/opensource/)
* Markdown
* Mistune:快速并且功能齐全的纯 Python 实现的 Markdown 解析器。[官网](https://github.com/lepture/mistune)
* Python-Markdown:John Gruber’s Markdown 的 Python 版实现。[官网](https://github.com/waylan/Python-Markdown)
* Python-Markdiwn2:纯 Python 实现的 Markdown 解析器,比 Python-Markdown 更快,更准确,可扩展。[官网](https://github.com/trentm/python-markdown2)
* YAML
* PyYAML:Python 版本的 YAML 解析器。[官网](http://pyyaml.org/)
* CSV
* csvkit:用于转换和操作 CSV 的工具。[官网](https://github.com/wireservice/csvkit)
* Archive
* unp:一个用来方便解包归档文件的命令行工具。[官网](https://github.com/mitsuhiko/unp)
自然语言处理
用来处理人类语言的库。
* [NLTK](http://hao.jobbole.com/nltk/):一个先进的平台,用以构建处理人类语言数据的 Python 程序。[官网](http://www.nltk.org/)
* jieba:中文分词工具。[官网](https://github.com/fxsjy/jieba)
* langid.py:独立的语言识别系统。[官网](https://github.com/saffsd/langid.py)
* Pattern:Python 网络信息挖掘模块。[官网](http://www.clips.ua.ac.be/pattern)
* SnowNLP:一个用来处理中文文本的库。[官网](https://github.com/isnowfy/snownlp)
* TextBlob:为进行普通自然语言处理任务提供一致的 API。[官网](http://textblob.readthedocs.org/en/latest/)
* TextGrocery:一简单高效的短文本分类工具,基于 LibLinear 和 Jieba。[官网](https://github.com/2shou/TextGrocery)
文档
用以生成项目文档的库。
* [Sphinx](http://hao.jobbole.com/sphinx/):Python 文档生成器。[官网](http://www.sphinx-doc.org/en/latest/)
* awesome-sphinxdoc:[官网](https://github.com/yoloseem/awesome-sphinxdoc)
* MkDocs:对 Markdown 友好的文档生成器。[官网](http://www.mkdocs.org/)
* pdoc:一个可以替换Epydoc 的库,可以自动生成 Python 库的 API 文档。[官网](https://github.com/BurntSushi/pdoc)
* Pycco:文学编程(literate-programming)风格的文档生成器。[官网](https://github.com/pycco-docs/pycco)
配置
用来保存和解析配置的库。
* config:[logging](https://docs.python.org/2/library/logging.html) 模块作者写的分级配置模块。[官网](https://www.red-dove.com/config-doc/)
* ConfigObj:INI 文件解析器,带验证功能。[官网](http://www.voidspace.org.uk/python/configobj.html)
* ConfigParser:(Python 标准库) INI 文件解析器。[官网](https://docs.python.org/2/library/configparser.html)
* profig:通过多种格式进行配置,具有数值转换功能。[官网](http://profig.readthedocs.org/en/default/)
* python-decouple:将设置和代码完全隔离。[官网](https://github.com/henriquebastos/python-decouple)
命令行工具
用于创建命令行程序的库。
* 命令行程序开发
* asciimatics:跨平台,全屏终端包(即鼠标/键盘输入和彩色,定位文本输出),完整的复杂动画和特殊效果的高级API。[官网](https://github.com/peterbrittain/asciimatics)
* cement:Python 的命令行程序框架。[官网](http://builtoncement.com/)
* click:一个通过组合的方式来创建精美命令行界面的包。[官网](http://click.pocoo.org/dev/)
* cliff:一个用于创建命令行程序的框架,可以创建具有多层命令的命令行程序。[官网](http://docs.openstack.org/developer/cliff/)
* clint:Python 命令行程序工具。[官网](https://github.com/kennethreitz/clint)
* colorama:跨平台彩色终端文本。[官网](https://pypi.python.org/pypi/colorama)
* docopt:Python 风格的命令行参数解析器。[官网](http://docopt.org/)
* Gooey:一条命令,将命令行程序变成一个 GUI 程序。[官网](https://github.com/chriskiehl/Gooey)
* python-prompt-toolkit:一个用于构建强大的交互式命令行程序的库。[官网](https://github.com/jonathanslenders/python-prompt-toolkit)
* [Pythonpy](http://hao.jobbole.com/pythonpy/):在命令行中直接执行任何Python指令。[官网](https://github.com/Russell91/pythonpy/wiki)
* 生产力工具
* aws-cli:Amazon Web Services 的通用命令行界面。[官网](https://github.com/aws/aws-cli)
* bashplotlib:在终端中进行基本绘图。[官网](https://github.com/glamp/bashplotlib)
* caniusepython3:判断是哪个项目妨碍你你移植到 Python 3。[官网](https://github.com/brettcannon/caniusepython3)
* cookiecutter:从 cookiecutters(项目模板)创建项目的一个命令行工具。[官网](https://github.com/audreyr/cookiecutter)
* doitlive:一个用来在终端中进行现场演示的工具。[官网](https://github.com/sloria/doitlive)
* howdoi:通过命令行获取即时的编程问题解答。[官网](https://github.com/gleitz/howdoi)
* httpie:一个命令行HTTP 客户端,cURL 的替代品,易用性更好。[官网](https://github.com/jkbrzt/httpie)
* PathPicker:从bash输出中选出文件。[官网](https://github.com/facebook/PathPicker)
* percol:向UNIX shell 传统管道概念中加入交互式选择功能。[官网](https://github.com/mooz/percol)
* SAWS:一个加强版的 AWS 命令行。[官网](https://github.com/donnemartin/saws)
* thefuck:修正你之前的命令行指令。[官网](https://github.com/nvbn/thefuck)
* mycli:一个 mysql 命令行客户端,具有自动补全和语法高亮功能。[官网](https://github.com/dbcli/mycli)
* pgcli:Postgres 命令行工具,具有自动补全和语法高亮功能。[官网](https://github.com/dbcli/pgcli)
* try:一个从来没有更简单的命令行工具,用来试用python库。[官网](https://github.com/timofurrer/try)
下载器
用来进行下载的库.
* s3cmd:一个用来管理Amazon S3 和 CloudFront 的命令行工具。[官网](https://github.com/s3tools/s3cmd)
* s4cmd:超级 S3 命令行工具,性能更加强劲。[官网](https://github.com/bloomreach/s4cmd)
* you-get:一个 YouTube/Youku/Niconico 视频下载器,使用 Python3 编写。[官网](https://www.soimort.org/you-get/)
* youtube-dl:一个小巧的命令行程序,用来下载 YouTube 视频。[官网](http://rg3.github.io/youtube-dl/)
图像处理
用来操作图像的库.
* [pillow](http://hao.jobbole.com/pillow/):Pillow 是一个更加易用版的 [PIL](http://www.pythonware.com/products/pil/)。[官网](http://pillow.readthedocs.org/en/latest/)
* hmap:图像直方图映射。[官网](https://github.com/rossgoodwin/hmap)
* imgSeek:一个使用视觉相似性搜索一组图片集合的项目。[官网](https://sourceforge.net/projects/imgseek/)
* nude.py:裸体检测。[官网](https://github.com/hhatto/nude.py)
* pyBarcode:不借助 PIL 库在 Python 程序中生成条形码。[官网](https://pythonhosted.org/pyBarcode/)
* pygram:类似 Instagram 的图像滤镜。[官网](https://github.com/ajkumar25/pygram)
* python-qrcode:一个纯 Python 实现的二维码生成器。[官网](https://github.com/lincolnloop/python-qrcode)
* Quads:基于四叉树的计算机艺术。[官网](https://github.com/fogleman/Quads)
* scikit-image:一个用于(科学)图像处理的 Python 库。[官网](http://scikit-image.org/)
* thumbor:一个小型图像服务,具有剪裁,尺寸重设和翻转功能。[官网](https://github.com/thumbor/thumbor)
* wand:[MagickWand](http://www.imagemagick.org/script/magick-wand.php)的Python 绑定。MagickWand 是 ImageMagick的 C API 。[官网](https://github.com/dahlia/wand)
OCR
光学字符识别库。
* pyocr:Tesseract 和 Cuneiform 的一个封装(wrapper)。[官网](https://github.com/jflesch/pyocr)
* [pytesseract](http://hao.jobbole.com/pytesseract/):[Google Tesseract OCR](https://github.com/tesseract-ocr) 的另一个封装(wrapper)。[官网](https://github.com/madmaze/pytesseract)
* python-tesseract - [Google Tesseract OCR](https://github.com/tesseract-ocr) 的一个包装类。
音频
用来操作音频的库
* audiolazy:Python 的数字信号处理包。[官网](https://github.com/danilobellini/audiolazy)
* audioread:交叉库 (GStreamer + Core Audio + MAD + FFmpeg) 音频解码。[官网](https://github.com/beetbox/audioread)
* beets:一个音乐库管理工具及 [MusicBrainz](https://musicbrainz.org/) 标签添加工具[官网](http://beets.io/)
* dejavu:音频指纹提取和识别[官网](https://github.com/worldveil/dejavu)
* [django-elastic-transcoder](http://hao.jobbole.com/django-elastic-transcoder/):Django + [Amazon Elastic Transcoder](http://aws.amazon.com/elastictranscoder/)。[官网](https://github.com/StreetVoice/django-elastic-transcoder)
* eyeD3:一个用来操作音频文件的工具,具体来讲就是包含 ID3 元信息的 MP3 文件。[官网](http://eyed3.nicfit.net/)
* id3reader:一个用来读取 MP3 元数据的 Python 模块。[官网](http://nedbatchelder.com/code/modules/id3reader.py)
* m3u8:一个用来解析 m3u8 文件的模块。[官网](https://github.com/globocom/m3u8)
* mutagen:一个用来处理音频元数据的 Python 模块。[官网](https://bitbucket.org/lazka/mutagen)
* pydub:通过简单、简洁的高层接口来操作音频文件。[官网](https://github.com/jiaaro/pydub)
* pyechonest:[Echo Nest](http://developer.echonest.com/) API 的 Python 客户端[官网](https://github.com/echonest/pyechonest)
* talkbox:一个用来处理演讲/信号的 Python 库[官网](http://scikits.appspot.com/talkbox)
* TimeSide:开源 web 音频处理框架。[官网](https://github.com/Parisson/TimeSide)
* tinytag:一个用来读取MP3, OGG, FLAC 以及 Wave 文件音乐元数据的库。[官网](https://github.com/devsnd/tinytag)
* mingus:一个高级音乐理论和曲谱包,支持 MIDI 文件和回放功能。[官网](http://bspaans.github.io/python-mingus/)
Video
用来操作视频和GIF的库。
* moviepy:一个用来进行基于脚本的视频编辑模块,适用于多种格式,包括动图 GIFs。[官网](http://zulko.github.io/moviepy/)
* scikit-video:SciPy 视频处理常用程序。[官网](https://github.com/aizvorski/scikit-video)
地理位置
* GeoDjango:世界级地理图形 web 框架。[官网](https://docs.djangoproject.com/en/dev/ref/contrib/gis/)
* GeoIP:MaxMind GeoIP Legacy 数据库的 Python API。[官网](https://github.com/maxmind/geoip-api-python)
* geojson:GeoJSON 的 Python 绑定及工具。[官网](https://github.com/frewsxcv/python-geojson)
* pygeoip:纯 Python GeoIP API。[官网](https://github.com/appliedsec/pygeoip)
* django-countries:一个 Django 应用程序,提供用于表格的国家选择功能,国旗图标静态文件以及模型中的国家字段。[官网](https://github.com/SmileyChris/django-countries)
HTTP
使用HTTP的库。
* requests:人性化的HTTP请求库。[官网](http://docs.python-requests.org/en/latest/)
* grequests:requests 库 + gevent ,用于异步 HTTP 请求.[官网](https://github.com/kennethreitz/grequests)
* httplib2:全面的 HTTP 客户端库。[官网](https://github.com/jcgregorio/httplib2)
* treq:类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。[官网](https://github.com/twisted/treq)
* urllib3:一个具有线程安全连接池,支持文件 post,清晰友好的 HTTP 库。[官网](https://github.com/shazow/urllib3)
数据库
Python实现的数据库。
* pickleDB:一个简单,轻量级键值储存数据库。[官网](https://pythonhosted.org/pickleDB/)
* PipelineDB:流式 SQL 数据库。[官网](https://www.pipelinedb.com/)
* TinyDB:一个微型的,面向文档型数据库。[官网](https://github.com/msiemens/tinydb)
* ZODB:一个 Python 原生对象数据库。一个键值和对象图数据库。[官网](http://www.zodb.org/en/latest/)
数据库驱动
用来连接和操作数据库的库。
* MySQL:[awesome-mysql](http://shlomi-noach.github.io/awesome-mysql/)系列
* mysql-python:Python 的 MySQL 数据库连接器。[官网](https://sourceforge.net/projects/mysql-python/)
* ysqlclient:[mysql-python](https://github.com/PyMySQL/mysqlclient-python) 分支,支持 Python 3。
* oursql:一个更好的 MySQL 连接器,支持原生预编译指令和 BLOBs.[官网](https://pythonhosted.org/oursql/)
* PyMySQL:纯 Python MySQL 驱动,兼容 mysql-python。[官网](https://github.com/PyMySQL/PyMySQL)
* PostgreSQL
* psycopg2:Python 中最流行的 PostgreSQL 适配器。[官网](http://initd.org/psycopg/)
* queries:psycopg2 库的封装,用来和 PostgreSQL 进行交互。[官网](https://github.com/gmr/queries)
* txpostgres:基于 Twisted 的异步 PostgreSQL 驱动。[官网](http://txpostgres.readthedocs.org/en/latest/)
* 其他关系型数据库
* apsw:另一个 Python SQLite封装。[官网](http://rogerbinns.github.io/apsw/)
* dataset:在数据库中存储Python字典
* pymssql:一个简单的Microsoft SQL Server数据库接口。[官网](http://www.pymssql.org/en/latest/)
* NoSQL 数据库
* cassandra-python-driver:Cassandra 的 Python 驱动。[官网](https://github.com/datastax/python-driver)
* HappyBase:一个为 Apache HBase 设计的,对开发者友好的库。[官网](http://happybase.readthedocs.org/en/latest/)
* Plyvel:一个快速且功能丰富的 LevelDB 的 Python 接口。[官网](https://plyvel.readthedocs.org/en/latest/)
* py2neo:Neo4j restful 接口的Python 封装客户端。[官网](http://py2neo.org/2.0/)
* pycassa:Cassandra 的 Python Thrift 驱动。[官网](https://github.com/pycassa/pycassa)
* PyMongo:MongoDB 的官方 Python 客户端。[官网](https://docs.mongodb.org/ecosystem/drivers/python/)
* redis-py:Redis 的 Python 客户端。[官网](https://github.com/andymccurdy/redis-py)
* telephus:基于 Twisted 的 Cassandra 客户端。[官网](https://github.com/driftx/Telephus)
* txRedis:基于 Twisted 的 Redis 客户端。[官网](https://github.com/deldotdr/txRedis)
HTML处理
处理 HTML和XML的库。
* BeautifulSoup:以 Python 风格的方式来对 HTML 或 XML 进行迭代,搜索和修改。[官网](http://www.crummy.com/software/BeautifulSoup/bs4/doc/)
* bleach:一个基于白名单的 HTML 清理和文本链接库。[官网](http://bleach.readthedocs.org/en/latest/)
* cssutils:一个 Python 的 CSS 库。[官网](https://pypi.python.org/pypi/cssutils/)
* html5lib:一个兼容标准的 HTML 文档和片段解析及序列化库。[官网](https://github.com/html5lib/html5lib-python)
* lxml:一个非常快速,简单易用,功能齐全的库,用来处理 HTML 和 XML。[官网](http://lxml.de/)
* MarkupSafe:为Python 实现 XML/HTML/XHTML 标记安全字符串。[官网](https://github.com/pallets/markupsafe)
* pyquery:一个解析 HTML 的库,类似 jQuery。[官网](https://github.com/gawel/pyquery)
* untangle:将XML文档转换为Python对象,使其可以方便的访问。[官网](https://github.com/stchris/untangle)
* xhtml2pdf:HTML/CSS 转 PDF 工具。[官网](https://github.com/xhtml2pdf/xhtml2pdf)
* xmltodict:像处理 JSON 一样处理 XML。[官网](https://github.com/martinblech/xmltodict)
爬取网络站点的库
* Scrapy:一个快速高级的屏幕爬取及网页采集框架。[官网](http://scrapy.org/)
* cola:一个分布式爬虫框架。[官网](https://github.com/chineking/cola)
* Demiurge:基于PyQuery 的爬虫微型框架。[官网](https://github.com/matiasb/demiurge)
* feedparser:通用 feed 解析器。[官网](http://pythonhosted.org/feedparser/)
* Grab:站点爬取框架。[官网](http://grablib.org/)
* MechanicalSoup:用于自动和网络站点交互的 Python 库。[官网](https://github.com/hickford/MechanicalSoup)
* portia:Scrapy 可视化爬取。[官网](https://github.com/scrapinghub/portia)
* pyspider:一个强大的爬虫系统。[官网](https://github.com/binux/pyspider)
* RoboBrowser:一个简单的,Python 风格的库,用来浏览网站,而不需要一个独立安装的浏览器。[官网](https://github.com/jmcarp/robobrowser)
网页内容提取
用于进行网页内容提取的库。
* Haul:一个可以扩展的图像爬取工具。[官网](https://github.com/vinta/Haul)
* html2text:将 HTML 转换为 Markdown 格式文本[官网](https://github.com/Alir3z4/html2text)
* lassie:人性化的网页内容检索库。[官网](https://github.com/michaelhelmick/lassie)
* micawber:一个小型网页内容提取库,用来从 URLs 提取富内容。[官网](https://github.com/coleifer/micawber)
* [newspaper](http://hao.jobbole.com/python-newspaper/):使用 Python 进行新闻提取,文章提取以及内容策展。[官网](https://github.com/codelucas/newspaper)
* opengraph:一个用来解析开放内容协议(Open Graph Protocol)的 Python模块。[官网](https://github.com/erikriver/opengraph)
* [python-goose](http://hao.jobbole.com/python-goose/):HTML内容/文章提取器。[官网](https://github.com/grangier/python-goose)
* python-readability:arc90 公司 readability 工具的 Python 高速端口。[官网](https://github.com/buriy/python-readability)
* sanitize:为杂乱的数据世界带来调理性。[官网](https://github.com/Alir3z4/python-sanitize)
* sumy:一个为文本文件和 HTML 页面进行自动摘要的模块。[官网](https://github.com/miso-belica/sumy)
* textract:从任何格式的文档中提取文本,Word,PowerPoint,PDFs 等等。[官网](https://github.com/deanmalmgren/textract)
网络
用于网络编程的库。
* asyncio:(Python 标准库) 异步 I/O, 事件循环, 协程以及任务。[官网](https://docs.python.org/3/library/asyncio.html)
* [Twisted](http://hao.jobbole.com/twisted/):一个事件驱动的网络引擎。[官网](https://twistedmatrix.com/trac/)
* pulsar:事件驱动的并发框架。[官网](https://github.com/quantmind/pulsar)
* diesel:基于Greenlet 的事件 I/O 框架。[官网](https://github.com/dieseldev/diesel)
* pyzmq:一个 ZeroMQ 消息库的 Python 封装。[官网](http://zeromq.github.io/pyzmq/)
* txZMQ:基于 Twisted 的 ZeroMQ 消息库的 Python 封装。[官网](https://github.com/smira/txZMQ)
机器学习
机器学习库。 参见: [awesome-machine-learning](https://github.com/josephmisiti/awesome-machine-learning#python).
* Crab:灵活、快速的推荐引擎。[官网](https://github.com/muricoca/crab)
* gensim:人性化的话题建模库。[官网](https://github.com/piskvorky/gensim)
* hebel:GPU 加速的深度学习库。[官网](https://github.com/hannes-brt/hebel)
* NuPIC:智能计算 Numenta 平台。[官网](https://github.com/numenta/nupic)
* pattern:Python 网络挖掘模块。[官网](https://github.com/clips/pattern)
* [PyBrain](http://hao.jobbole.com/pybrain/):另一个 Python 机器学习库。[官网](https://github.com/pybrain/pybrain)
* [Pylearn2](http://hao.jobbole.com/pylearn2/):一个基于 [Theano](https://github.com/Theano/Theano) 的机器学习库。[官网](https://github.com/lisa-lab/pylearn2)
* [python-recsys](http://hao.jobbole.com/python-recsys/):一个用来实现推荐系统的 Python 库。[官网](https://github.com/ocelma/python-recsys)
* scikit-learn:基于 SciPy 构建的机器学习 Python 模块。[官网](http://scikit-learn.org/)
* pydeep:Python 深度学习库。[官网](https://github.com/andersbll/deeppy)
* vowpalporpoise:轻量级 [Vowpal Wabbit](https://github.com/JohnLangford/vowpalwabbit/) 的 Python 封装。[官网](https://github.com/josephreisinger/vowpalporpoise)
* skflow:一个 [TensorFlow](https://github.com/tensorflow/tensorflow) 的简化接口(模仿 scikit-learn)。[官网](https://github.com/tensorflow/skflow)
资源
在这里可以找到新的 Python 库。
网站
* [r/Python](https://www.reddit.com/r/python)
* [CoolGithubProjects](https://www.coolgithubprojects.com/)
* [Django Packages](https://www.djangopackages.com/)
* [Full Stack Python](http://www.fullstackpython.com/)
* [Python 3 Wall of Superpowers](http://python3wos.appspot.com/)
* [Python Hackers](http://pythonhackers.com/open-source/)
* [Python ZEEF](https://python.zeef.com/alan.richmond)
* [Trending Python repositories on GitHub today](https://github.com/trending?l=python)
* [PyPI Ranking](http://pypi-ranking.info/alltime)
周刊
* [Import Python Newsletter](http://importpython.com/newsletter/)
* [Pycoder's Weekly](http://pycoders.com/)
* [Python Weekly](http://www.pythonweekly.com/)
* [@codetengu](https://twitter.com/codetengu)
* [@getpy](https://twitter.com/getpy)
* [@planetpython](https://twitter.com/planetpython)
* [@pycoders](https://twitter.com/pycoders)
* [@pypi](https://twitter.com/pypi)
* [@pythontrending](https://twitter.com/pythontrending)
* [@PythonWeekly](https://twitter.com/PythonWeekly)
学习指南
* [Scipy-lecture-notes](http://hao.jobbole.com/scipy-lecture-notes/):如何用Python来做学术?[官网](https://github.com/scipy-lectures/scipy-lecture-notes)
* [SScientific-python-lectures](http://hao.jobbole.com/scientific-python-lectures/):Python科学计算的资料。[官网](https://github.com/jrjohansson/scientific-python-lectures)
* [Mario-Level-1](http://hao.jobbole.com/mario-level-1/):用Python和Pygame写的超级马里奥第一关。[官网](https://github.com/justinmeister/Mario-Level-1)
* [Python Koans](http://hao.jobbole.com/python-koans/):Python的交互式学习工具。[官网](https://github.com/gregmalcolm/python_koans)
* [Minecraft](http://hao.jobbole.com/minecraft-python/):用python写的Minecraft游戏。[官网](https://github.com/fogleman/Minecraft)
* [pycrumbs](http://hao.jobbole.com/python-pycrumbs/):Python资源大全。[官网](https://github.com/kirang89/pycrumbs/blob/master/pycrumbs.md)
* [python-patterns](http://hao.jobbole.com/python-patterns/):使用python实现设计模式。[官网](https://github.com/faif/python-patterns)
* [Projects](http://hao.jobbole.com/python-projects/):Python项目大集合。[官网](https://github.com/karan/Projects)
* [The Hitchhiker’s Guide to Python](http://hao.jobbole.com/the-hitchhikers-guide-to-python/):旅行者的Python学习指南。[官网](http://docs.python-guide.org/en/latest/)
* [Code Like a Pythonista: Idiomatic Python](http://top.jobbole.com/18767/):如何像Python高手(Pythonista)一样编程。[官网](http://python.net/~goodger/projects/pycon/2007/idiomatic/handout.html)
声明:
本文内容或图片来自互联网收集或网友投稿,如有版权问题请与我们取得联系:webadm@pengyueisos.com
近期上海交通大学组织的 开始报名了!欲了解详情,请戳
1
2
3
以上是关于Python--Flask Django等常用库总结鹏越·学霸专区的主要内容,如果未能解决你的问题,请参考以下文章
python flask bootstrap pagination错误error 'url_args' is undefined