BeautifulSoup 与 scrapy 的区别是什么？

Posted 2022-04-08 renshaoqi

　　Scrapy 是一个框架。scrapy是一个web网站抓取框架，你可以给scrapy一个网站的网址，然后他就会帮你采集数据，并且你可以指定网址的数量来进行采集。scrapy是一个完整的Web抓取框架或者说是爬虫框架。

　　BeautifulSoup 是一个数据解析库。并且从网址中获取数据同样可以做的很好。最重要的是如果你从中提取数据的话也会异常方便(很适合新手入门)。但是该模块只是把你给他的网址采集下来，然后停止采集。该模块不会帮你一直采集数据，除非你手动指定，或者写一个循环来自己实现这个功能。

　　简而言之，你可以用BeautifulSoup 建立一个类似于scrapy的框架，scrapy是更加完善的爬虫框架，而scrapy只是数据解析库。