python爬虫需要安装哪些库

Posted 2023-04-27

一、 请求库

1. requests
requests 类库是第三方库，比 Python 自带的 urllib 类库使用方便和

2. selenium
利用它执行浏览器动作，模拟操作。
3. chromedriver
安装chromedriver来驱动chrome。

4. aiohttp
aiohttp是异步请求库，抓取数据时可以提升效率。

二、 解析库
1. lxml
lxml是Python的一个解析库，支持解析html和XML，支持XPath的解析方式，而且解析效率非常高。
2. beautifulsoup4
Beautiful Soup可以使用它更方便的从 HTML 文档中提取数据。

3. pyquery
pyquery是一个网页解析库，采用类似jquery的语法来解析HTML文档。
三、 存储库
1. mysql
2. mongodb
3. redis
四、 爬虫框架scrapy
Scrapy 是一套异步处理框架，纯python实现的爬虫框架，用来抓取网页内容以及各种图片
需要先安装scrapy基本依赖库，比如lxml、pyOpenSSL、Twisted 参考技术A Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。
最常用的框架是scrapy
最简单的请求模块就是requests

python爬虫 入门需要哪些基础

　　从爬虫必要的几个基本需求来讲：
　　1.抓取
　　py的urllib不一定去用，但是要学，如果还没用过的话。
　　比较好的替代品有requests等第三方更人性化、成熟的库，如果pyer不了解各种库，那就白学了。
　　抓取最基本就是拉网页回来。
　　如果深入做下去，会发现要面对不同的网页要求，比如有认证的，不同文件格式、编码处理，各种奇怪的url合规化处理、重复抓取问题、cookies跟随问题、多线程多进程抓取、多节点抓取、抓取调度、资源压缩等一系列问题。
　　所以第一步就是拉网页回来，慢慢会发现各种问题待优化。
　　2.存储
　　抓回来一般会用一定策略存下来，而不是直接分析，个人觉得更好的架构应该是把分析和抓取分离，更加松散，每个环节出了问题能够隔离另外一个环节可能出现的问题，好排查也好更新发布。
　　那么存文件系统、SQLorNOSQL数据库、内存数据库，如何去存就是这个环节的重点。
　　可以选择存文件系统开始，然后以一定规则命名。
　　3.分析
　　对网页进行文本分析，提取链接也好，提取正文也好，总之看的需求，但是一定要做的就是分析链接了。
　　可以用认为最快最优的办法，比如正则表达式。
　　然后将分析后的结果应用与其他环节：）
　　4.展示
　　要是做了一堆事情，一点展示输出都没有，如何展现价值。
　　所以找到好的展示组件，去show出肌肉也是关键。
　　如果为了做个站去写爬虫，抑或要分析某个东西的数据，都不要忘了这个环节，更好地把结果展示出来给别人感受。 参考技术A

从爬虫基本要求来看：

抓取：抓取最基本就是拉网页回来，所以第一步就是拉网页回来，慢慢会发现各种问题待优化；

存储：抓回来一般会用一定策略存下来，可以选择存文件系统开始，然后以一定规则命名。

分析：对网页进行文本分析，可以用认为最快最优的办法，比如正则表达式；

展示：要是做了一堆事情，一点展示输出都没有，如何展现价值。

参考技术B

链接：https://pan.baidu.com/s/1wMgTx-M-Ea9y1IYn-UTZaA

提取码：2b6c

课程简介

毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？

Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。

带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

课程目录

开始之前，魔力手册 for 实战学员预习

第一周：学会爬取网页信息

第二周：学会爬取大规模数据

第三周：数据统计与分析

第四周：搭建 Django 数据可视化网站

......