java爬虫框架webmagic学习

Posted 2020-12-04 古琴剑弹

1. 爬虫的分类：分布式和单机

    分布式主要就是apache的nutch框架，java实现，依赖hadoop运行，学习难度高，一般只用来做搜索引擎开发。

    java单机的框架有：webmagic和webcollector以及crawler4j

    python单机的框架：scrapy和pyspider

2. 作者自己在官方教程也说到了“WebMagic的设计参考了业界最优秀的爬虫Scrapy”，说明精通scrapy还是爬虫工程师最重要的任务。

3. WebMagic的代码分为两部分：webmagic-core和webmagic-extension

4. WebMagic由四个组件(Downloader、PageProcessor、Scheduler、Pipeline)构成。Spider是内部流程的核心，四大组件都是它的属性。

    Spider也是WebMagic操作的入口，它封装了爬虫的创建、启动、停止、多线程等功能。

5. public static void main(String[] args){

     Spider.create(new GithubRepoPageProcessor()) //从https://github.com/code4craft开始抓

        .addUrl("https://github.com/code4craft") //设置Scheduler，使用Redis来管理URL队列

        .setScheduler(new RedisScheduler("localhost")) //设置Pipeline，将结果以json方式保存到文件

        .addPipeline(new JsonFilePipeline("D:\data\webmagic")) //开启5个线程同时执行 .thread(5) //启动爬虫

        .run();

  }

6. webmagic-selenium支持动态网页的爬取，webmagic-saxon支持X-Path和XSLT的解析。