scrapy抓取某些网站出现AttributeError_ object has no attribute 的解决办法的代码.txt

Posted gladiolus

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy抓取某些网站出现AttributeError_ object has no attribute 的解决办法的代码.txt相关的知识,希望对你有一定的参考价值。

把写内容过程中经常用的内容段备份一下,下面的内容内容是关于scrapy抓取某些网站出现AttributeError: 'Response' object has no attribute 'body_as_unicode'的解决办法的内容,应该是对码农们也有用。

 

def parse(self, response):
hxs=Selector(response)

for url in detail_url_list:
if ‘goods‘ in url:
yield Request(url, callback=self.parse_detail)





写成下面这个样子即可



def parse(self, response):
hxs=Selector(text=response.body)

for url in detail_url_list:
if ‘goods‘ in url:
yield Request(url, callback=self.parse_detail)





注意这句话:hxs=Selector(text=response.body)





以上是关于scrapy抓取某些网站出现AttributeError_ object has no attribute 的解决办法的代码.txt的主要内容,如果未能解决你的问题,请参考以下文章

Nginx反爬虫: 禁止某些User Agent抓取网站

Scrapy抓取360网站图片

使用 scrapy 抓取网站

python爬虫scrapy的LinkExtractor

scrapy抓取所有网站域名

scrapy-splash抓取动态数据例子二