关于Scrapy爬取1000张网页的问题
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了关于Scrapy爬取1000张网页的问题相关的知识，希望对你有一定的参考价值。
爬了几页以后就一直这样了，什么数据都没有出来了用了代理池也没有用
2、可能是有一些特殊网页，你现有的程序无法解决，报了异常，无法执行
3、链接错误
解决方法是：用单个报错的链接测试一下，是否能够正常运行。追问
单个链接可以爬，放多了的话，前几个链接可以爬，之后的就这样
以上是关于关于Scrapy爬取1000张网页的问题的主要内容，如果未能解决你的问题，请参考以下文章
python3下scrapy爬虫(第八卷:循环爬取网页多页数据）
scrapy中使用selenium+webdriver获取网页源码，爬取简书网站