如何使用codecs模块将unicode数据娉蒰bk格式

Posted 2023-03-29

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何使用codecs模块将unicode数据娉蒰bk格式相关的知识，希望对你有一定的参考价值。

参考技术A 　　这篇文章主要介绍了Python中使用不同编码读写txt文件详解,本文给出不同编码下的读写文件代码方法,需要的朋友可以参考下　　代码如下: 　　import os 　　import codecs 　　filenames=os.listdir(os.getcwd()) 　　out=file("name.txt","w") 　　for filename in filenames: 　　out.write(filename.decode("gb2312").encode("utf-8")) 　　out.close() 　　将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存　　如果采用ANSI编码保存，用如下代码写入即可：　　代码如下: 　　out.write(filename) 　　打开文件并写入　　引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。　　代码如下: 　　import codecs 　　file=codecs.open("lol.txt","w","utf-8") 　　file.write(u"我") 　　file.close() 　　读取ANSI编码的文本文件和utf-8编码的文件　　读取ANSI编码文件　　建立一个文件test.txt，文件格式用ANSI，内容为: 　　代码如下: 　　abc中文　　用python来读取　　代码如下: 　　# coding=gbk 　　print open("Test.txt").read() 　　结果：abc中文　　读取utf-8编码文件(无BOM) 　　把文件格式改成UTF-8：　　代码如下: 　　结果：abc涓枃　　显然，这里需要解码：　　代码如下: 　　# -*- coding: utf-8 -*- 　　import codecs 　　print open("Test.txt").read().decode("utf-8") 　　结果：abc中文　　读取utf-8编码文件(有BOM) 　　某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符(0xEF 0xBB 0xBF，即BOM)。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：　　代码如下: 　　# -*- coding: utf-8 -*- 　　import codecs 　　data = open("Test.txt").read() 　　if data[:3] == codecs.BOM_UTF8: 　　data = data[3:] 　　print data.decode("utf-8") 　　结果：abc中文　　在看下面的例子：　　代码如下: 　　# -*- coding: utf-8 -*- 　　data = open("name_utf8.txt").read() 　　u=data.decode("utf-8") 　　print u[1:] 　　打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。　　注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。　　设置python默认编码　　代码如下: 　　import sys 　　reload(sys) 　　sys.setdefaultencoding("utf-8") 　　print sys.getdefaultencoding() 　　今天碰到了 python 编码问题, 报错信息如下　　代码如下: 　　Traceback (most recent call last): 　　File "ntpath.pyc", line 108, in join 　　UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128) 　　显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为: 　　在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码，因为python在启动的时候会调用site.py文件，在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了. 在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8') 　　代码如下: 　　import sys 　　reload(sys) 　　sys.setdefaultencoding("utf-8") 　　print sys.getdefaultencoding() 　　确实有效, 根据 limodou 讲解, site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py. 　　上面写的挺啰嗦的. 　　================================== 　　如何永久地将默认编码设置为utf-8呢? 有2种方法: 　　================================== 　　第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8 　　第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下　　sitecustomize.py 是在 site.py 被import 执行的, 因为 sys.setdefaultencoding() 是在 site.py 的最后删除的, 所以, 可以在 sitecustomize.py 使用 sys.setdefaultencoding(). 　代码如下: 　　import sys 　　sys.setdefaultencoding('utf-8') 　　既然 sitecustomize.py 能被自动加载, 所以除了设置编码外, 也可以设置一些其他的东西　　字符串的编码　　代码如下: 　　s1='中文' 　　像上面那样直接输入的字符串是按照代码文件的编码来处理的，如果是unicode编码，有以下三种方式：　　代码如下: 　　1 s1 = u'中文' 　　2 s2 = unicode('中文','gbk') 　　3 s3 = s1.decode('gbk') 　　unicode是一个内置函数，第二个参数指示源字符串的编码格式。　　decode是任何字符串具有的方法，将字符串转换成unicode格式，参数指示源字符串的编码格式。　　encode也是任何字符串具有的方法，将字符串转换成参数指定的格式。