大三上寒假15天--第10天

Posted 2021-03-10 my---world

今天继续学习webmagic爬虫技术，组件包含：

1.Downloader

Downloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。

2.PageProcessor

PageProcessor负责解析页面，抽取有用信息，以及发现新的链接。WebMagic使用Jsoup作为html解析工具，并基于其开发了解析XPath的工具Xsoup。

在这四个组件中，PageProcessor对于每个站点每个页面都不一样，是需要使用者定制的部分。

3.Scheduler

Scheduler负责管理待抓取的URL，以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL，并用集合来进行去重。也支持使用Redis进行分布式管理。

除非项目有一些特殊的分布式需求，否则无需自己定制Scheduler。

4.Pipeline

Pipeline负责抽取结果的处理，包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。

Pipeline定义了结果保存的方式，如果你要保存到指定数据库，则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。

webmagic有许多的方法，最重要的就是getSite（）和process()方法

getSite（）可以设置抓取间隔时间等，process用于对下载的html页面进行处理，抓取想要的结果，一般对这两个方法进行重写以完成爬虫程序。

对首都之窗信件的爬取页面规律的寻找又遇到了难题，下一页的链接都是javascript:void(0)死链接，网上说这种的都特别复杂，但是我发现url都是http://www.beijing.gov.cn/so/s?qt=%E4%BF%A1%E4%BB%B6&tab=all&siteCode=1100000088&page=3这个page=3可以动态修改来控制是哪一页，这个3代表第三页，也许这是一个突破点，我会继续努力。