python最重要的库

Posted 2021-06-02 月疯

用于数据收集的Python库：

1、Beautiful Soup

https://www.crummy.com/software/BeautifulSoup/bs4/doc/

Beautiful Soup是一个html和XML解析器，可为被解析的页面创建解析树，从而用于从web页面中提取数据。从网页中提取数据的过程称为网页抓取。

2、Scrapy

https://docs.scrapy.org/en/latest/intro/tutorial.html

Scrapy是另一个可有效用于网页抓取的Python库。它是一个开源的协作框架，用于从网站中提取所需数据。使用起来快捷简单。

3、Selenium

https://www.seleniumhq.org/

Selenium是一个倍受欢迎的自动化浏览器工具。在业界常用于测试，但对于网页抓取也非常方便。Selenium在IT领域非常流行。

用于数据清理和数据操作的Python库：

4、Pandas

https://pandas.pydata.org/pandas-docs/stable/

在数据操作和数据分析方面，Pandas绝无敌手。Pandas一度是最流行的Python库。Pandas是用Python语言编写的，主要用于数据操作和数据分析。

5、PyOD

https://pyod.readthedocs.io/en/latest/

PyOD是一个全面的、可伸缩的Python工具包，用于检测外围对象。离群值检测基本上是识别与大多数数据显著不同的稀有项或观测值。

6、NumPy

https://www.numpy.org/

与Pandas一样，NumPy也是一个非常受欢迎的Python库。NumPy引入了支持大型多维数组和矩阵的函数，同时还引入了高级数学函数来处理这些数组和矩阵。

7、Spacy

https://spacy.io/

Spacy是一个非常有用且灵活的自然语言处理( NLP )库和框架，用于清理创建模型的文本文档。与类似用途的其他库相比，SpaCy速度更快。

用于数据可视化的Python库：

8、Matplotlib

https://matplotlib.org/

Matplotlib是Python中最流行的数据可视化库。允许生成和构建各种各样的图。Matplotlib是笔者的首选库，可与Seaborn一起用于进行数据可视化研究。

9、Seaborn

https://seaborn.pydata.org/

Seaborn是另一个基于matplotlib的绘图库。它是一个为绘制有吸引力的图像而提供高级接口的python库。matplotlib能实现功能，Seaborn只是以另一种更吸引人的视觉方式来实现。

10、Bokeh

https://bokeh.pydata.org/en/latest/

Bokeh是一个面向现代网页浏览器的交互式可视化库，为大量数据集提供优美的通用图形结构。

Bokeh可用于创建交互式绘图、仪表板和数据应用程序。

用于建模的Python库：

11、Scikit-learn

https://scikit-learn.org/stable/

事实上，scikit-learn建立在NumPy，SciPy和matplotlib之上。它是开放源码的，每个人都可以访问，并且可以在各种环境中重用。

Scikit-learn支持在机器学习中执行的不同操作，如分类、回归、聚类和模型选择等。命名它——那么scikit-learn会有一个模块。

12、TensorFlow

https://www.tensorflow.org/

TensorFlow由谷歌开发，是一个流行的深度学习库，可帮助构建、培训不同模型。是一个开放源码的端到端平台。TensorFlow提供简单的模型构建，强大的机器学习生产，以及强大的实验工具和库。

TensorFlow提供多个抽象级别，可根据需要进行选择。TensorFlow通过使用高级Keras API来构建和训练模型，这使TensorFlow入门和机器学习变得容易。

13、PyTorch

https://pytorch.org/

什么是PyTorch？其实，这是一个基于Python的科学计算包，其功能如下：

• NumPy的替代品，可使用GPU的强大功能

• 深度学习研究型平台，拥有最大灵活性和最快速度

用于模型解释的Python库：

14、Lime

https://github.com/marcotcr/lime

LIME是一种算法（库），可以解释任何分类器或回归量的预测。LIME是如何做到的呢？通过可解释的模型在局部不断接近预测值，这个模型解释器可用于生成任何分类算法的解释。

15、H2O

https://github.com/h2oai/mli-resources

相信很多人都听说过H2O.ai，自动化机器学习的市场领导者。但是你知道其在Python中也有一个模型可解释性库吗？

H2O的无人驾驶AI，提供简单的数据可视化技术，用于表示高度特征交互和非线性模型行为，通过可视化提供机器学习可解释性（MLI），说明建模结果和模型中特征的影响。

用于语音处理的Python库：

15、Librosa

https://librosa.github.io/librosa/

LibROSA是一个用于音乐和音频分析的Python库。它提供了创建音乐信息检索系统所需的构建块。

16、Madmom

https://github.com/CPJKU/madmom

Madmom是一个用于音频数据分析的很棒的Python库。它是一个用Python编写的音频信号处理库，主要用于音乐信息检索（MIR）任务。

17、pyAudioAnalysis

https://github.com/tyiannak/pyAudioAnalysis

pyAudioAnalysis是一个用于音频特征提取、分类和分段的Python库，涵盖广泛的音频分析任务，例如：

• 对未知声音进行分类

• 检测音频故障并排除长时间录音中的静音时段

• 进行监督和非监督的分割

• 提取音频缩略图等等

用于图像处理的Python库：

18、OpenCV-Python

https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_setup/py_intro/py_intro.html

谈到图像处理，OpenCV首先浮现在脑海中。OpenCV-Python是用于图像处理的Python API，结合了OpenCV C ++ API和Python语言的最佳特性。主要用于解决计算机视觉问题。

19、Scikit-image

https://scikit-image.org/

Scikit-image是另一个用于图像处理的python库，是用于执行多个不同图像处理任务的算法集合。可用于图像分割、几何变换、色彩空间操作、分析、过滤，形态学、特征检测等等。

20、Pillow

https://pillow.readthedocs.io/en/stable/

Pillow是PIL（Python Imaging Library）的新版本。它是从PIL派生出来的，在一些Linux发行版（如Ubuntu）中被用作原始PIL的替代。

Pillow提供了几种执行图像处理的标准程序：

1. 逐像素操作

2. 掩模和透明处理

3. 图像过滤，例如模糊，轮廓，平滑或边缘监测

4. 图像增强，例如锐化，调整亮度、对比度或颜色

5. 在图像上添加文字等等

作为数据库的Python库：

21、Psycopg

http://initd.org/psycopg/

Psycopg是Python编程语言中最流行的PostgreSQL（高级开源代码关系数据库）适配器。Psycopg的核心是完全实现Python DB API 2.0规范。

目前的psycopg2实现支持：

• Python版本2.7

• Python 3版本（3.4到3.7）

• PostgreSQL服务器版本（7.4到11）

• PostgreSQL客户端库版本（9.1以上）

22、SQLAlchemy

https://www.sqlalchemy.org/

SQL是最流行的数据库语言。SQLAlchemy是pythonSQL工具包和对象关系映射器，它为应用程序开发人员提供了SQL的全部功能，且极具灵活性。

SQL旨在实现高效、高性能的数据库访问。SQLAlchemy将数据库视为关系代数引擎，而不仅仅是表的集合。

用于模型部署的Python库：

23、Flask

http://flask.pocoo.org/docs/1.0/

Flask是一个用Python编写的Web框架，广泛用于部署数据科学模型。Flask由两个部分组成：

• Werkzeug：Python编程语言的实用程序库

• Jinja：Python的模板引擎

24、Django

https://www.django.cn/

Django是一个由Python写成的Web应用框架。Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用，多个组件可以很方便的以“插件”形式服务于整个框架，Django有许多功能强大的第三方插件，你甚至可以很方便的开发出自己的工具包。