python2和3在处理字符串上的区别

Posted 2021-01-10 HF9

python2和python3对于字符串的处理有很大的区别

熟悉了python2的写法用python3时真的会遇到很多问题啊……

区别

python2中有一种类型叫做unicode型，例

type(u"a") => str型
type("a".decode(‘utf8‘)) => unicode型

两者返回的类型都是unicode型
而在python3中，所有的字符串都是unicode，所以就不存在单独的unicode型，全部都是字符串型

type(u"a") => str型
type("a".decode(‘utf8‘)) => 报错，python3不能这样写

但是python3中多处一种字符串

type(b‘132‘) => byte型

而在python2中这样写就会报错

所以显而易见，decode和encode的使用也会有很大的区别

python2中的decode是将str型转换为unicode型

python3中的decode是将byte型转换为str型

使用

在使用python3写爬虫时，有时候会遇到这样的错误

‘gbk‘ codec can‘t encode character ‘u30fb‘ in position 0: illegal multibyte sequence

遇到这样的错误就和上面的编码问题连系起来了

你会发现，明明自己设置的编码是utf8，怎么会报一个gbk的错误？？

这个问题可能会在两个地方出现(输出时，写入文件时)，其实这里设置的编码并没有问题，问题出在python3的字符串中，像上面说的，python3默认所有字符串都是unicode型，在面对字符串时，会首先按照unicode解析，自然会报错

那么，我们来转换一下编码(假设a是一个gbk编码的数据流)

"a".decode(‘gbk‘)

将字符串按照gbk规则解码

会发现依旧报错，明明已经改为gbk了啊……不着急，再进行一次

"a".decode(‘gbk‘).encode(‘utf8‘).decode(‘utf8‘)

为什么写的这么长……就像上面说的，decode是将byte型转为str型，而encode是将str型转换为byte型，所以再进行一次encode，decode就能够使得字符串转换编码格式

但是当你输出时，你会发现还是有问题

解决

我们回到开始

不输出我们想要的字符串，发现没有问题……问题出在哪？

没错，是print()，print在输出时会默认其中的字符时unicode编码的字符串，而我们输入了一个gbk编码的字符串，所以就会出错，所以，解决方法就是，不使用print……

但是print的使用有时候是不可避免的，所以在decode时加上一个ignore

"a".decode(‘gbk‘,errors=‘ignore‘)

此外，在打开或写入文件时遇到的话，就需要加上encoding参数

with open("1.txt",‘r‘,encoding=‘utf8‘) as a: