【Python基础】python数据分析需要哪些库？

Posted 2023-04-27

1.Numpy库
是Python开源的数值计算扩展工具，提供了Python对多维数组的支持，能够支持高级的维度数组与矩阵运算。此外，针对数组运算也提供了大量的数学函数库，Numpy是大部分Python科学计算的基础，具有很多功能。
2.Pandas库
是一个基于Numpy的数据分析包，为了解决数据分析任务而创建的。Pandas中纳入了大量库和标准的数据模型，提供了高效地操作大型数据集所需要的函数和方法，使用户能快速便捷地处理数据。
3.Matplotlib库
是一个用在Python中绘制数组的2D图形库，虽然它起源于模仿MATLAB图形命令，但它独立于MATLAB，可以通过Pythonic和面向对象的方式使用，是Python中最出色的绘图库。主要用纯Python语言编写的，它大量使用Numpy和其他扩展代码，即使对大型数组也能提供良好的性能。
4.Seaborn库
是Python中基于Matplotlib的数据可视化工具，提供了很多高层封装的函数，帮助数据分析人员快速绘制美观的数据图形，从而避免了许多额外的参数配置问题。
5.NLTK库
被称为使用Python进行教学和计算语言学工作的最佳工具，以及用自然语言进行游戏的神奇图书馆。NLTK是一个领先的平台，用于构建使用人类语言数据的Python程序，它为超过50个语料库和词汇资源提供了易于使用的接口，还提供了一套文本处理库，用于分类、标记化、词干化、解析和语义推理、NLP库的包装器和一个活跃的讨论社区。 参考技术A 1、pandasPandas包含高级数据结构，以及和让数据分析变得快速、简单的工具。它建立在NumPy之上，使以NumPy为中心的应用变得简单。
Pandas是进行数据清洗/整理（data munging）的最好工具。
http://pandas.pydata.org/pandas-docs/stable/10min.html
2、numpy对于科学计算，它是Python创建的所有更高层工具的基础，NumPy不提供高级数据分析功能，但有了对NumPy数组和面向数组的计算的理解，能帮助你更有效地使用像Pandas之类的工具。
参考视频教程 https://vimeo.com/77263537
3、scipyScipy库依赖于NumPy，它提供便捷和快速的N维向量数组操作。SciPy库的建立就是和NumPy数组一起工作，并提供许多对用户友好的和有效的数值例程，如：数值积分和优化。SciPy提供模块用于优化、线性代数、积分以及其它数据科学中的通用任务。
参考教程 https://docs.scipy.org/doc/scipy/reference/tutorial/
4、matplotlibMatlplotlib是Python的一个可视化模块。它让你方便地制作线条图、饼图、柱状图以及其它专业图形。使用Matplotlib，你可以定制所做图表的任一方面。在IPython中使用时，Matplotlib有一些互动功能，如：缩放和平移。它支持所有的操作系统下不同的GUI后端（back ends），并且可以将图形输出为常见地矢量图和图形格式，如：PDF、SVG、JPG、PNG、BMP和GIF等。
5、Scikit-learnScikit-learn是一个用于机器学习的Python模块。它建立在Scipy之上，提供了一套常用机器学习算法，让使用者通过一个统一的接口来使用。Scikit-learn有助于你迅速地在你的数据集上实现流行的算法。
内置各算法教程 http://scikit-learn.org/stable/user_guide.html

python爬虫 入门需要哪些基础

　　从爬虫必要的几个基本需求来讲：
　　1.抓取
　　py的urllib不一定去用，但是要学，如果还没用过的话。
　　比较好的替代品有requests等第三方更人性化、成熟的库，如果pyer不了解各种库，那就白学了。
　　抓取最基本就是拉网页回来。
　　如果深入做下去，会发现要面对不同的网页要求，比如有认证的，不同文件格式、编码处理，各种奇怪的url合规化处理、重复抓取问题、cookies跟随问题、多线程多进程抓取、多节点抓取、抓取调度、资源压缩等一系列问题。
　　所以第一步就是拉网页回来，慢慢会发现各种问题待优化。
　　2.存储
　　抓回来一般会用一定策略存下来，而不是直接分析，个人觉得更好的架构应该是把分析和抓取分离，更加松散，每个环节出了问题能够隔离另外一个环节可能出现的问题，好排查也好更新发布。
　　那么存文件系统、SQLorNOSQL数据库、内存数据库，如何去存就是这个环节的重点。
　　可以选择存文件系统开始，然后以一定规则命名。
　　3.分析
　　对网页进行文本分析，提取链接也好，提取正文也好，总之看的需求，但是一定要做的就是分析链接了。
　　可以用认为最快最优的办法，比如正则表达式。
　　然后将分析后的结果应用与其他环节：）
　　4.展示
　　要是做了一堆事情，一点展示输出都没有，如何展现价值。
　　所以找到好的展示组件，去show出肌肉也是关键。
　　如果为了做个站去写爬虫，抑或要分析某个东西的数据，都不要忘了这个环节，更好地把结果展示出来给别人感受。 参考技术A

从爬虫基本要求来看：

抓取：抓取最基本就是拉网页回来，所以第一步就是拉网页回来，慢慢会发现各种问题待优化；

存储：抓回来一般会用一定策略存下来，可以选择存文件系统开始，然后以一定规则命名。

分析：对网页进行文本分析，可以用认为最快最优的办法，比如正则表达式；

展示：要是做了一堆事情，一点展示输出都没有，如何展现价值。

参考技术B

链接：https://pan.baidu.com/s/1wMgTx-M-Ea9y1IYn-UTZaA

提取码：2b6c

课程简介

毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？

Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。

带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

课程目录

开始之前，魔力手册 for 实战学员预习

第一周：学会爬取网页信息

第二周：学会爬取大规模数据

第三周：数据统计与分析

第四周：搭建 Django 数据可视化网站

......