关于爬虫的编码格式问题

Posted 2020-12-29 zquacm-875180305

UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘uc0ac‘ in position

爬虫编码想从把构造的字典信息写进文件。

有两种方法：

一、用json
import json
js=json.dumps(a)
fp.writelines(js+‘
‘)
二、直接强制转换
fp.write(str(a)+‘
‘)

　　　利用第一种方法输入网页信息，中文会变成编码。

　　　采用第二种方法，中文信息进行保留，但是，有时候会提出错误‘UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘uc0ac‘ in position‘.

　　　此时，在文件的目录下面创造一个utf-8编码的txt。并且fp的编码格式改为utf-8

fp=open("top500.txt","at",encoding=‘utf-8‘)