Scrapy爬取到的中文数据乱码问题处理
Posted mrtop
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy爬取到的中文数据乱码问题处理相关的知识，希望对你有一定的参考价值。
Scrapy爬取到中文数据默认是 Unicode编码的，于是显示是这样的：
"country": ["u56fdu4ea7u6c7du8f66u6807u5fd7"]
"carname": ["u65afu67efu8fbe", "u67efu5c3cu585eu683c", "u6c83u5c14u6c83"]
解决方法其实很简单，只需在settings.py文件中增加一行，导出时强制为‘utf-8‘即可（default值为Unicode）
FEED_EXPORT_ENCODING = ‘utf-8
以上是关于Scrapy爬取到的中文数据乱码问题处理的主要内容，如果未能解决你的问题，请参考以下文章
在ubuntu 16.04里使用python—scrapy将爬取到的数据存到mysql数据库中的一些随笔
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件加代理cookieheaderselenium随机生成uersagent去重规则源码分析(布隆过滤器)scrapy-redis实现分布式爬虫