selenium+scrapy完成爬取特定的知乎界面，比如我爬取的就是搜索“”“某某某东西”

Posted 2020-10-26 rabbit-working

这个地方非常感谢此篇作者的帮助 ：http://blog.csdn.net/uselym/article/details/52525025

一、建立一个scrapy框架的爬虫

二、在spider中首先构造登录

二、使用response构造需要获取到的数据

三、在parse函数中返回request请求。

四、在scrapy.Request()中指定url=“你需要爬取的界面”

总结：对于知乎的动态界面，scrapy爬虫爬取始终没有selenium模拟上下滑动获取的比较完整，望注意。