python数据分析需要哪些库？

Posted 2023-05-01

1. NumPy
一般我们会将科学领域的库作为清单打头，NumPy是该领域的主要软件库之一。它旨在处理大型的多维数组和矩阵，并提供了很多高级的数学函数和方法，因此可以用它来执行各种操作。
2. SciPy

另一个科学计算核心库SciPy，基于NumPy而构建，并扩展了NumPy的功能。SciPy的主要数据结构是多维数组，使用Numpy实现。该库提供了一些用于解决线性代数、概率论、积分计算等任务的工具。
3.Pandas
Pandas是一个Python库，提供了高级的数据结构和各种分析工具。该库的一大特色是能够将相当复杂的数据操作转换为一两个命令。Pandas提供了很多内置的方法，用于分组、过滤和组合数据，还提供了时间序列功能。所有这些方法的执行速度都很快。
4. StatsModels
Statsmodels是一个Python模块，为统计数据分析提供了很多可能性，例如统计模型估计、运行统计测试等。你可以借助它来实现很多机器学习方法，并探索不同的绘图可能性。
5. Matplotlib
Matplotlib是一个用于创建二维图表和图形的低级库。你可以用它来构建各种图表，从直方图和散点图到非笛卡尔坐标图。此外，很多流行的绘图库都为Matplotlib预留了位置，可与Matplotlib结合在一起使用。
6. Seaborn
Seaborn实际上是基于matplotlib库构建的高级API。它为处理图表提供了更恰当的默认选项。此外，它还提供了一组丰富的可视化图库，包括时间序列、联合图和小提琴图等复杂的类型。
7. Plotly
Plotly是一个可以帮助你轻松构建复杂图形的流行库。该库适用于交互式Web应用程序，它提供了很多很棒的可视化效果，包括轮廓图形、三元图和3D图表。
8. Bokeh
Bokeh库使用javascript小部件在浏览器中创建交互式和可伸缩的可视化图形。该库提供了多种图形、样式、链接图形式的交互能力、添加小部件、定义回调以及更多有用的功能。
9. Pydot
Pydot是一个用于生成面向复杂图形和非面向复杂图形的库。它作为面向Graphviz的一个接口，使用Python编写。我们可以借助它来显示图形的结构，这在构建神经网络和基于决策树的算法时经常会用到。 参考技术A python数据分析需要的库有pandas, numpy, matplotlib，可能还需要其他库。 参考技术B 1、Numpy
Numpy是Python科学计算的基础包，它提供了很多功能：快速高效的多维数组对象ndarray、用于对数组执行元素级计算以及直接对数组执行数学运算的函数、用于读写硬盘上基于数组的数据集的工具、线性代数运算、傅里叶变换以及随机数生成等。NumPy在数据分析方面还有另外一个主要作用，即作为在算法和库之间传递数据的容器。
2、Pandas
Pandas提供了快速便捷处理结构化数据的大量数据结构和函数。自从2010年出现以来，它助使Python成为强大而高效的数据分析环境。其中用得最多的Pandas对象是DataFrame，它是一个面向列的二维表结构，另一个是Series，一个一维的标签化数组对象。Pandas兼具Numpy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能。还提供了复杂精细的索引功能，能更加便捷地完成重塑、切片和切块、聚合以及选取数据子集等操作。
3、matplotlib
matplotlib是最流行的用于绘制图表和其他二维数据可视化的Python库。它最初由John
D.Hunter(JDH)创建，目前由一个庞大的开发团队维护。它非常适合创建出版物上用的图表。虽然还有其他的Python可视化库，但matplotlib应用最为广泛。
4、SciPy
SciPy是一组专门解决科学计算中各种标准问题域的包的集合，它与Numpy结合使用，便形成了一个相当完备和成熟的计算平台，可以处理多种传统的科学计算问题。
5、scikit-learn
2010年诞生以来，scikit-learn成为了Python通用机器学习工具包。它的子模块包括：分类、回归、聚类、降维、选型、预处理等。与pandas、statsmodels和IPython一起，scikit-learn对于Python成为高效数据科学编程语言起到了关键作用。
6、statsmodels
statsmodels是一个统计分析包，起源于斯坦福大学统计学教授，他设计了多种流行于R语言的回归分析模型。Skipper Seabold和Josef
Perktold在2010年正式创建了statsmodels项目，随后汇聚了大量的使用者和贡献者。与scikit-learn比较，statsmodels包含经典统计学和经济计量学的算法。

数据挖掘方向，Python中还需要学习哪些内容

就题论题，还包括：
1. Python 数据库连接库，例如MySQL 连接库的应用，这决定你的数据从哪里来。这里面涉及到sql语法和数据库基本知识，是你在学习的时候必须一起学会的。
2. Python 做基本数据计算和预处理的库，包括numpy ，scipy，pandas 这三个用得最多。
3. 数据分析和挖掘库，主要是sklearn，Statsmodels。前者是最广泛的机器学习库，后者是侧重于统计分析的库。（要知道统计分析大多时候和数据挖掘都错不能分开使用）
4. 图形展示库。matpotlib，这是用的最多的了。
说完题主本身 要求，楼上几位说的对，你还需要一些关于数据挖掘算法的基本知识和认知，否则即使你调用相关库得到结果，很可能你都不知道怎么解读，如何优化，甚至在什么场景下还如何选择算法等。因此基本知识你得了解。主要包括：
1.统计学相关，看看深入浅出数据分析和漫画统计学吧，虽然是入门的书籍，但很容易懂。
2.数据挖掘相关，看看数据挖掘导论吧，这是讲算法本身得书。
剩下的就是去实践了。有项目就多参与下项目，看看真正的数据挖掘项目是怎么开展的，流程怎样等。没有项目可以去参加一些数据挖掘或机器学习方面的大赛，也是增加经验得好方法。 参考技术A python是编程语言，数据挖掘是一种数据处理技术，数据挖掘方向还是建议多学学数学和算法。老男孩的python视频可以看一下，讲的还是不错的。 参考技术B 个人觉得数据挖掘，还是要看理论吧。
重点是算法原理，python只是实现工具而已。 参考技术C Python数据分析和数据挖掘学习路线图
假如你想成为一个数据科学家，或者已经是数据科学家的你想扩展你的技能，那么你已经来对地方了。本文的目的就是给数据分析方面的Python新手提供一个完整的学习路径。该路径提供了你需要学习的利用Python进行数据分析的所有步骤的完整概述。如果你已经有一些相关的背景知识，或者你不需要路径中的所有内容，你可以随意调整你自己的学习路径，并且让大家知道你是如何调整的。
步骤0：热身
开始学习旅程之前，先回答第一个问题：为什么使用Python？或者，Python如何发挥作用？
观看DataRobot创始人Jeremy在PyCon Ukraine 2014上的30分钟演讲，来了解Python是多么的有用。
步骤1：设置你的机器环境
现在你已经决心要好好学习了，也是时候设置你的机器环境了。最简单的方法就是从Continuum.io上下载分发包Anaconda。Anaconda将你以后可能会用到的大部分的东西进行了打包。采用这个方法的主要缺点是，即使可能已经有了可用的底层库的更新，你仍然需要等待Continuum去更新Anaconda包。当然如果你是一个初学者，这应该没什么问题。
如果你在安装过程中遇到任何问题，你可以在这里找到不同操作系统下更详细的安装说明。
步骤2：学习Python语言的基础知识
你应该先去了解Python语言的基础知识、库和数据结构。Codecademy上的Python课程是你最好的选择之一。完成这个课程后，你就能轻松的利用Python写一些小脚本，同时也能理解Python中的类和对象。
具体学习内容：列表Lists，元组Tuples，字典Dictionaries，列表推导式，字典推导式。
任务：解决HackerRank上的一些Python教程题，这些题能让你更好的用Python脚本的方式去思考问题。
替代资源：如果你不喜欢交互编码这种学习方式，你也可以学习PPV课训练营课程 python入门。这课程系列不但包含前边提到的Python知识，还包含了一些后边将要讨论的东西。
步骤3：学习Python语言中的正则表达式
你会经常用到正则表达式来进行数据清理，尤其是当你处理文本数据的时候。学习正则表达式的最好方法是参加谷歌的Python课程，它会让你能更容易的使用正则表达式。
任务：做关于小孩名字的正则表达式练习。
如果你还需要更多的练习，你可以参与这个文本清理的教程。数据预处理中涉及到的各个处理步骤对你来说都会是不小的挑战。
步骤4：学习Python中的科学库—NumPy, SciPy, Matplotlib以及Pandas
从这步开始，学习旅程将要变得有趣了。下边是对各个库的简介，你可以进行一些常用的操作：
•根据NumPy教程进行完整的练习，特别要练习数组arrays。这将会为下边的学习旅程打好基础。
•接下来学习Scipy教程。看完Scipy介绍和基础知识后，你可以根据自己的需要学习剩余的内容。
•这里并不需要学习Matplotlib教程。对于我们这里的需求来说，Matplotlib的内容过于广泛。取而代之的是你可以学习这个笔记中前68行的内容。
•最后学习Pandas。Pandas为Python提供DataFrame功能（类似于R）。这也是你应该花更多的时间练习的地方。Pandas会成为所有中等规模数据分析的最有效的工具。作为开始，你可以先看一个关于Pandas的10分钟简短介绍，然后学习一个更详细的Pandas教程。
您还可以学习两篇博客Exploratory Data Analysis with Pandas和Data munging with Pandas中的内容。
额外资源：
•如果你需要一本关于Pandas和Numpy的书，建议Wes McKinney写的“Python for Data Analysis”。
•在Pandas的文档中，也有很多Pandas教程，你可以在这里查看。
任务：尝试解决哈CS109课程的这个任务。
步骤5：有用的数据可视化
参加CS109的这个课程。你可以跳过前边的2分钟，但之后的内容都是干货。你可以根据这个任务来完成课程的学习。
步骤6：学习Scikit-learn库和机器学习的内容
现在，我们要开始学习整个过程的实质部分了。Scikit-learn是机器学习领域最有用的Python库。这里是该库的简要概述。完成哈CS109课程的课程10到课程18，这些课程包含了机器学习的概述，同时介绍了像回归、决策树、整体模型等监督算法以及聚类等非监督算法。你可以根据各个课程的任务来完成相应的课程。
额外资源：
•如果说有那么一本书是你必读的，推荐Programming Collective Intelligence。这本书虽然有点老，但依然是该领域最好的书之一。
•此外，你还可以参加来自Yaser Abu-Mostafa的机器学习课程，这是最好的机器学习课程之一。如果你需要更易懂的机器学习技术的解释，你可以选择来自Andrew Ng的机器学习课程，并且利用Python做相关的课程练习。
•Scikit-learn的教程
任务：尝试Kaggle上的这个挑战
步骤7：练习，练习，再练习
恭喜你，你已经完成了整个学习旅程。
你现在已经学会了你需要的所有技能。现在就是如何练习的问题了，还有比通过在Kaggle上和数据科学家们进行竞赛来练习更好的方式吗？深入一个当前Kaggle上正在进行的比赛，尝试使用你已经学过的所有知识来完成这个比赛。
步骤8：深度学习
现在你已经学习了大部分的机器学习技术，是时候关注一下深度学习了。很可能你已经知道什么是深度学习，但是如果你仍然需要一个简短的介绍，可以看这里。
我自己也是深度学习的新手，所以请有选择性的采纳下边的一些建议。deeplearning.net上有深度学习方面最全面的资源，在这里你会发现所有你想要的东西—讲座、数据集、挑战、教程等。你也可以尝试参加Geoff Hinton的课程，来了解神经网络的基本知识。
附言：如果你需要大数据方面的库，可以试试Pydoop和PyMongo。大数据学习路线不是本文的范畴，是因为它自身就是一个完整的主题。
------------------------
（1）最低保障书籍
无论将来做什么，熟练掌握一门编程语言，一个数据库，数据结构，算法都是必备的。
《高性能MySQL》
《数据结构与算法分析：Java语言描述》
《算法》
（2）Python与机器学习
《集体智慧编程》
《社交网站的数据挖掘与分析》
《数据挖掘：概念与技术》
Python官方文档
Scikit-Learn官方文档
（3）Java相关书籍
《Java开发实战经典》
《Java Web开发实战经典》
《Java虚拟机规范》
Java SE
Java EE
（4）Hadoop与Spark书籍
《大数据日知录：架构与算法》
《Hadoop权威指南》
《大数据Spark企业级实战》
《Scala编程》
Hadoop官方网站
Spark官方网站
Scala官方网站
说明：认准目标，耐住性子，一步一步往前走。要把上面推荐的书籍硬着头皮读完，数
二. 数据挖掘进阶
数据挖掘涉及多个方向，但是通常从数学统计，数据库和数据仓库，机器学习三个方向来进行研究。当我想学习一个方向的时候，最希望做的事情就是让别人给我列出一个书单。因为我也会给你们列出一个书单，让你们慢慢研究吧。
1. 数学统计
（1）理论数学：复变函数，实变函数，泛函分析，拓扑学，积分变换，微分流形，常微分方程，偏微分方程等。
（2）应用数学：离散数学（集合，逻辑，组合，代数，图论，数论），具体数学，张量分析，数值计算，矩阵论，逼近论，运筹学，凸优化，小波变换，时间序列分析等。
（3）概率：概率论，测度论，随机过程等。
（4）统计：统计学，多元统计，贝叶斯统计，统计模拟，非参数统计，参数统计等。

2. 数据库和数据仓库
《数据库系统概念》
《数据库系统实现》

《数据仓库》
《分布式系统：概念与设计》
3. 机器学习
通信原理；数据挖掘；机器学习；统计学习；自然语言处理；信息检索；模式识别；人工智能；图形图像；机器视觉；语音识别；机器人学等。（这方面的经典书籍都可以看看，后面慢慢补充）

4. 其它书籍
（1）Linux
（2）网络原理，编译原理，组成原理，
（3）JVM
（4）UML
（5）软件工程
（6）设计模式
（7）云计算与Docker
（8）并行计算
（9）需求分析