python2.7应用codecs模块处理包含中文的读写问题

Posted 2023-02-09 Jimmy1224

codecs模块处理中文读写

我们在应用python编码过程中，经常会涉及对文件的读写，推荐的文件读写方式如下：

#!/usr/bin/env Python
# coding=utf-8
...
with open(file=源文件,mode='命令') as 命名：
...

当源文件中包含中文时，如何没有经过编解码处理，经常会遇到UnicodeDecodeError类型的错误，例如：

UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 1022-1023:

在python 3 中，open API支持指定编码方式，当源文件是utf-8格式时，其解决方法如下，

with open(file=源文件,mode='命令'，encoding='utf-8') as 命名：

但在python 2.x中，open API不支持指定编码方式，当源文件是utf-8格式，并涉及中文时，我们可以采用codecs模块进行处理，解决方法如下：

import codecs
# encoding设置为'utf-8'格式,即可解决
# codecs.open接口和open接口兼容，非常方便
with codecs.open(file=源文件,mode='命令',encoding='编(解)码方式') as 命名：
    ....

检测文件编码格式

当我们不知道当前文件的编码格式，我们可以采用以下方法进行验证

import chardet

# 文件
with codecs.open(file_,mode='rb') as fil :
    data_ = fil.read()
    print(chardet.detect(data_))

# 输出是字典
'encoding':文件编码,'confidence':可信度（真假猴王）,'language'：语言