scrapy 知乎用户信息爬虫

Posted 腩啵兔子

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy 知乎用户信息爬虫相关的知识,希望对你有一定的参考价值。

zhihu_spider

此项目的功能是爬取知乎用户信息以及人际拓扑关系,爬虫框架使用scrapy,数据存储使用mongo,下载这些数据感觉也没什么用,就当为大家学习scrapy提供一个例子吧。代码地址:https://github.com/LiuRoy/zhihu_spider,欢迎各位大神指出问题,另外知乎也欢迎大家关注哈 ^_^.

流程图

技术分享

技术分享

 

  • 解析的用户信息包括昵称,头像链接,个人基本信息还有关注人的数量和粉丝的数量。这个页面还能获取关注人页面和粉丝页面。
  • 由上一步获取的分页列表页面和关注人页面获取用户人际关系,这两个页面类似,唯一麻烦的是得到的静态页面最多只有二十个,获取全部的人员必须通过POST请求,解析到的个人主页再由上一步来解析。

代码解释

scrapy文档非常详细,在此我就不详细讲解,你所能碰到的任何疑问都可以在文档中找到解答。 

技术分享

  • 爬虫框架从start_requests开始执行,此部分会提交知乎主页的访问请求给引擎,并设置回调函数为post_login.
  • post_login解析主页获取_xsrf保存为成员变量中,并提交登陆的POST请求,设置回调函数为after_login.
  • after_login拿到登陆后的cookie,提交一个start_url的GET请求给爬虫引擎,设置回调函数parse_people.
  • parse_people解析个人主页,一次提交关注人和粉丝列表页面到爬虫引擎,回调函数是parse_follow, 并把解析好的个人数据提交爬虫引擎写入mongo。
  • parse_follow会解析用户列表,同时把动态的人员列表POST请求发送只引擎,回调函数是parse_post_follow,把解析好的用户主页链接请求也发送到引擎,人员关系写入mongo。
  • parse_post_follow单纯解析用户列表,提交用户主页请求至引擎。

效果图

技术分享

 技术分享

技术分享

 

以上是关于scrapy 知乎用户信息爬虫的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫从入门到放弃(十八)之 Scrapy爬取所有知乎用户信息(上)

运维学python之爬虫高级篇scrapy爬取知乎关注用户存入mongodb

利用Scrapy爬取所有知乎用户详细信息并存至MongoDB

利用 Scrapy 爬取知乎用户信息

Scrapy爬取知乎用户信息

知乎Elasticsearch Crawler