python常用的数据库都有哪些？

Posted 2023-03-03

1、数据收集：（1）Scrapy:协助使用者自动提取网页所需信息，并将其整理为表格或JSON格式的数据结构；（2）Selenium:使用者在感兴趣的网站上已经进行了交互行为之后，Seleniumn一般能派上用场；（3）BeautifulSoup：用来收集网站内容的Python库，更适合应用于规模相对较小的问题或一次性任务。
2、数据清理和转化：（4）Pandas:必须学习的，使用者可以运用Pandas操控处于Pandas数据框架内的数据，而且其内置巨量的函数，帮助使用者进行数据转换；（5）Numpy:必须学习的，Numpy将Python的对象列表拓展成了全面的多维度序列，而且其内置海量的数学函数；（6）Spacy:帮助使用者将自由文本转化为结构型数据，支持多种语言版本。
3、数据可视化：（7）Matplotlib:最全面的Python数据可视化库；（8）Plotly:只需要写最少的代码就能得出最多彩缤纷的图像。
4、数据模块化：（9）Scikit Learn:高级分析师，开启机器学习之旅，有六大主要模块:数据预处理，维度缩减，数据回归，数据分类，数据聚类分析，模型选择；（10）Tensorflow：由谷歌推出的来源机器学习库，是一个基于网页自动生成的仪表盘，它将数据学习流和结果进行了可视化处理，这一功能对于排错和展示都十分有用；（11）PyTorch:由Facebook发布的一个开源库，用作Python的公共机器学习框架。
5、音频和图像识别：（12）OpenCV：是最常用的图像和视频识别库，能让Python在图像和视频识别领域完全替代Matlab，不仅支持Python，还支持JAVA和Matlab；（13）Librosa：是一个非常强大的音频和声音处理Python库，可以从音频段中提取各个部分，例如节奏以及节拍。
6、网页：（14）Django：开发网页服务后端，设计理念是能用几行代码就建立一个网站的高级框架；（15）Flask：是一个用于Python的轻量级网页开发框架。 参考技术A

主流的关系型数据库：

1. MySQL：目前使用最广泛的开源、多平台的关系型数据库，支持事务、符合ACID、支持多数SQL规范。

2. SQL Server：支持事务、符合ACID、支持多数SQL规范，属于商业软件，需要注意版权和licence授权费用。

3. Oracle：支持事务，符合关系型数据库原理，符合ACID，支持多数SQL规范，功能最强大、最复杂、市场占比最高的商业数据库。

4. Postgresql：开源、多平台、关系型数据库，功能最强大的开源数据库，需要Python环境，基于postgresql的time
scaleDB，是目前比较火的时序数据库之一。

非关系型数据库

Redis：开源、Linux平台、key-value键值型nosql数据库，简单稳定，非常主流的、全数据in-momory，定位于快的键值型nosql数据库。

Memcaced：一个开源的、高性能的、具有分布式内存对象的缓存系统，通过它可以减轻数据库负载，加速动态的web应用。

面向文档数据库以文档的形式存储，每个文档是一系列数据项的集合，每个数据项有名称与对应的值，主要产品有：

MongoDB：开源、多平台、文档型nosql数据库，最像关系型数据库，定位于灵活的nosql数据库。适用于网站后台数据库、小文件系统、日志分析系统。

参考技术B MYSQL
目前使用最广泛的开源、多平台的关系型数据库，支持事务、符合ACID、支持多数SQL规范
SQL Server
支持事务、符合ACID、支持多数SQL规范，属于商业软件，需要注意版权和licence授权费用
Oracle
支持事务，符合关系型数据库原理，符合ACID，支持多数SQL规范，功能最强大、最复杂、市场占比最高的商业数据库
Postgresql
开源、多平台、关系型数据库，功能最强大的开源数据库，需要python环境，基于postgresql的TimeScaleDB，是目前比较火的时序数据库之一。
非关系型数据库
非关系型数据库也称为NOSQL（Not Only SQL），作为关系型数据库的一个补充，能在特定场景和特点问题下发挥高效率和高性能。
常见的非关系型数据库类型有键值（Key-Value）存储数据库和面向文档数据库（Document-oriented）
键值存储数据库类似hash，通过key做添加、删除、查询，性能高，优势在于简单、易部署、高并发，主要产品有
Redis
开源、Linux平台、key-value键值型Nosql数据库，简单稳定，非常主流的、全数据in-momory、定位于“快”的键值型nosql数据库
Memcaced
一个开源的、高性能的、具有分布式内存对象的缓存系统，通过它可以减轻数据库负载，加速动态的web应用
面向文档数据库以文档的形式存储，每个文档是一系列数据项的集合，每个数据项有名称与对应的值，主要产品有
MongoDB
开源、多平台、文档型nosql数据库，“最像关系型数据库”，定位于“灵活”的nosql数据库。适用于网站后台数据库（更新快、实时复制）、小文件系统（json，二进制）、日志分析系统（数据量大的文件）。 参考技术C 1.Matplotlib
2.Seaborn
3.Plotly
4.Bokeh
5.Pydot
6.pyecharts