php爬虫框架盘点

Posted 2021-04-25 程序那些事儿

网络数据抓取是大数据分析的前提，只有拥有海量的数据才能够进行大数据分析，因此，爬虫（数据抓取）是每个后端开发人员必会的一个技能，下面我们主要盘点一下php的爬虫框架。

Goutte

Goutte库非常有用，它可以为您提供有关如何使用PHP抓取内容的出色支持。基于Symfony框架，它提供了API来抓取网站并从html / XML响应中抓取数据,它是免费开源的。基于OOP的编程思想，非常适合大型项目的爬虫，同时它有着还不错的解析速度。它需要php满足5.5+。

simplehtmldom

这是一款html解析框架，它提供了类似于jquery的api,使得我们操作元素，获取元素非常的方便。它的缺点就是因为需要加载和分析大量dom树结构，因此占用内存空间较大，同时它的解析速度也不是很快，不过它的使用便捷性是其它框架无法比拟的。如果你要抓取一个少量的数据，那么它很适合你。

htmlSQL

这是一个非常有趣的php框架，通过这个框架你可以使用类似sql的语句来分析网页中的节点。通过这个库，我们可以不用写复杂的函数和正则表达式就可以获取到任意想要的节点。它提供了相对较快的解析，但是功能有限。它的缺点就是这个库已经不在维护了，不过使用它可能会对你的爬虫理念有所提升。

Buzz

一个非常轻量级的爬虫库，它类似于一个浏览器，你可以非常方便地操作cookie，设置请求头。它拥有非常完善的测试文件，因此你可以安心无忧地使用它。此外，它还支持http2的server push，你可以更快速的接收内容。

Guzzle

严格意义来讲，它并不是一个爬虫框架，它是要给http请求库，它封装了http请求，它具有一个简单的操作方式，可帮助您构建查询字符串，POST请求，流式传输大型上传文件，流式传输大型下载文件，使用HTTP cookie，上传JSON数据等。它可以在同一接口的帮助下发送同步和异步请求。它利用PSR-7接口处理请求，响应和流。这使您可以在Guzzle中使用其他PSR-7兼容的库。它可以抽象出底层的HTTP传输，使您能够编写环境并传输不可知代码。即，对cURL，PHP流，套接字或非阻塞事件循环没有硬性依赖。

request

如果你接触过python,就一定知道python中有个非常好用的http请求库，它就是request,而这个库就是php版的它，可以说它参考了request的所有精华，让它也变得非常优雅高效。通过请求，您可以发送HEAD，GET，POST，PUT，DELETE和PATCH HTTP请求。借助请求，您可以添加标头，表单数据，多部分文件和带有简单数组的参数，并以相同的方式访问响应数据。

querylist

使用类似jQuery选择器来做采集，告别复杂的正则表达式，可以非常方便的操作DOM，具有Http网络操作能力、乱码解决能力、内容过滤能力以及可扩展能力；

可以轻松实现诸如：模拟登陆、伪造浏览器、HTTP代理等复杂的网络请求；拥有丰富的插件，支持多线程采集以及使用PhantomJS采集javascript动态渲染的页面。

snoopy

Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单，可以用来开发一些采集程序。它封装了很多常用且实用的功能，比如获取全部连接，获取全部纯文本内容等，它的表单模拟是它的一大亮点。

phpspider

国人开发的php爬虫框架，作者曾用它爬取了知乎的百万用户，可以说框架在执行效率上还是非常不错的。此外，作者提供了一个非常好用的命令行工具，通过工具，我们可以非常方便的部署和查看我们的爬虫效果和进度。