Scrapy爬虫中遇到问题"Filtered offsite request"

Posted 2020-12-27 edenchaniy

1."Filtered offsite request"

参考一份示例代码运行的时候发生该错误，一般来说原因应该是request的地址和allow_domain的地址相冲突，会被过滤掉，所以解决方法是修改代码:

yield Request(url, callback=self.parse_item, dont_filter=True)

但是在我这里不知道为什么没有办法解决，在网上搜到了另一个方法，就是禁用中间件功能，在setting.py中添加:

SPIDER_MIDDLEWARES = {
    ‘scrapy.spidermiddlewares.offsite.OffsiteMiddleware‘: None,
}

中间件的作用可以参考文档：http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/downloader-middleware.html

至于原理暂时还没有完全理解清楚，以后有机会的话会补上相关知识。

2.将Json文件存入mysql的时候部分中文乱码

将爬虫导出的json文件通过SQL Server放入MySQL数据库的时候出现单数文字结尾乱码，双数结尾不乱码的情况。爬取的网站编码格式为gb2312，但是查看了一下json的编码格式和数据库的编码格式都是utf-8，不清楚为什么会出现这种情况。

一个解决办法是先将json文件转成gb2312编码格式（可以使用Notepad++进行转换），然后将数据库也设置为gb2312编码，然后再进行导入。