爬虫的基本原理

Posted 2020-12-02 doitjust

爬虫就是获取网页并提取和保存信息的自动化程序

1.获取网页

　　爬虫首先要做的就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息。只要把源代码获取到，就可以从提取信息了。

　　向网站服务器发送一个请求，返回的响应体就是网页的源码。

2.提取信息

　　获取网页源码后，提取信息就是分析网页源码，从中提取想要的数据。通用的方法是使用正则表达式。这个方法时万能的，但构造正则表达式比较复杂。

　　我们利用网页的结构化特点，可以使用一些根据网页节点属性、CSS选择器或XPath来获取网页信息的库，如：BeautifulSoup、pyquery、lxml。这些可以快速获取网页中的信息。如节点的属性，文本等。

3.保存数据

　　提取信息后，我们需要对数据进行持久化。如保存为t本地ext文件，json文件，或者保存到数据库中(mysql,MongoDB等)，也可以保存到远程的服务器(如：借助SFTP进行操作)。

4.自动化程序

　　当数据量特别大或者获取大量的数据时，需要借助程序。爬虫就是代替人来完成爬取信息的自动化程序。它可以在抓取信息过程中进行各种异常处理、错误重试等操作，确保爬取持续高效进行。