爬虫入门实战,知乎小爬虫

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫入门实战,知乎小爬虫相关的知识,希望对你有一定的参考价值。

相比于爬虫框架,知乎小爬虫,更加适合初学者,尤其是想要了解爬虫技术细节、实现自己编写爬虫需求的初学者。

1. 谈爬虫工程师的价值

       大数据时代已到,数据越来越具有价值了,没有数据寸步难行,有了数据好好利用,可以在诸多领域干很多事,比如很火的互联网金融。从互联网上爬来自己想要的数据,是数据的一个重要来源,而且往往是必不可少的来源。所有,目前,爬虫工程师是一个非常吃香的职位,工资往往都不低,就是要耐得住寂寞了。那爬虫工程师的价值也就是能稳定的、高效的和实时的带来数据。这里推荐看两篇文章:

http://www.hzzx.gov.cn/cshz/content/2014-08/25/content_5417124.htm

http://www.tuicool.com/articles/Fb6fy2f

2. 爬虫(或互联网数据采集)怎么入门

       爬虫可以很快的入门,但要做的真正大神,还必须不断实践。因为,一旦真正爬数据的时候就会出现各种问题,因为爬虫本质是一种对抗性的工作,你需要和反爬人员斗智斗勇。不过,这个过程会充满无穷的乐趣,还会把你锤炼成真正的爬虫高手。

3. 专门为爬虫入门而写的知乎爬虫

         这里,耗费了不少的业余时间,专门为爬虫入门或初中级写了一个知乎爬虫。为什么选择知乎呢?应为这里例子可以尽量多的将爬虫涉及的技术点包含进去,同时又不至于那么复杂,学习和提升兼顾。下面说明知乎爬虫的源码和涉及主要技术点:

(1)程序package组织

技术分享
                      包结构

(2)模拟登录(爬虫主要技术点1

       要爬去需要登录的网站数据,模拟登录是必要可少的一步,而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录,需要两大步骤是:(1)对登录的请求过程进行分析,找到登录的关键请求和步骤,分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher;(2)编写代码模拟登录的过程。

技术分享
                                                   模拟登录

(3)网页下载(爬虫主要技术点2

      模拟登录后,便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池,并且封装了常用的get和post两种网页下载的方法。

技术分享
                                                 连接线程池
技术分享
                                      Get和post方法封装
技术分享
                                               下载网页

(4)自动获取网页编码(爬虫主要技术点3

       自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。

技术分享
                                           正确编码网页

(5)网页解析和提取(爬虫主要技术点4

       使用Java写爬虫,常见的网页解析和提取方法有两种:利用开源Jar包Jsoup和正则。一般来说,Jsoup就可以解决问题,极少出现Jsoup不能解析和提取的情况。Jsoup强大功能,使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。

技术分享
                                利用Jsoup进行网页内容解析和提取

(6)正则匹配与提取(爬虫主要技术点5

       虽然知乎爬虫采用Jsoup来进行网页解析,但是仍然封装了正则匹配与提取数据的方法,因为正则还可以做其他的事情,如在知乎爬虫中使用正则来进行url地址的过滤和判断。

技术分享
                                               封装正则

(7)数据去重(爬虫主要技术点6

       对于爬虫,根据场景不同,可以有不同的去重方案。(1)少量数据,比如几万或者十几万条的情况,使用Map或Set便可;(2)中量数据,比如几百万或者上千万,使用BloomFilter(著名的布隆过滤器)可以解决;(3)大量数据,上亿或者几十亿,Redis可以解决。知乎爬虫给出了BloomFilter的实现,但是采用的Redis进行去重。

技术分享
                                           bloomfilter去重
技术分享
                                                redis去重

(8)设计模式等Java高级编程实践

       除了以上爬虫主要的技术点之外,知乎爬虫的实现还涉及多种设计模式,主要有链模式、单例模式、组合模式等,同时还使用了Java反射。除了学习爬虫技术,这对学习设计模式和Java反射机制也是一个不错的案例。

4. 一些抓取结果展示

技术分享

5. 获取源码

请加QQ:2091395524,并说明为“爬虫”,加好友交流。由于耗费了不少精力,获取源码需要赞助50元小费。说明:源码有较全的注释,简单易懂,使您能快速入门并掌握和立即爬虫的主要技术点,从而独立写自己的爬虫。

以上是关于爬虫入门实战,知乎小爬虫的主要内容,如果未能解决你的问题,请参考以下文章

知乎python 爬虫如何入门学习

一文读懂:Python爬虫超详细讲解带你实战爬知乎(零基础入门,男女老少都看的懂)

Python 爬虫的入门教程都有哪些值得推荐的?

爬虫入门系列:用 requests 构建知乎 API

Python爬虫实战,Scrapy实战,知乎粉丝小爬虫

爬虫实战--利用Scrapy爬取知乎用户信息