scrapy 采集网页出现丢失url的问题
Posted fly-kaka
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了scrapy 采集网页出现丢失url的问题相关的知识，希望对你有一定的参考价值。
url_list = ["http://www.icoat.cc/news/list_18_3.html", "http://www.icoat.cc/news/list_18.html",
"http://www.icoat.cc/news/list_18_2.html",
]
for ls in url_list:
yield scrapy.Request(url=ls, headers=header, callback=self.parseList, meta={"hd": header})
采集的过程中发现丢失了很多url,而且url_list中只采集了前两个，不知道为什么，google后发现加上dont_filter后可以解决丢失url的问题
yield scrapy.Request(url=ls, headers=header, callback=self.parseList, meta={"hd": header}, dont_filter=True)
以上是关于scrapy 采集网页出现丢失url的问题的主要内容，如果未能解决你的问题，请参考以下文章