处理python字符串中的中文字符

Posted 笨笨coding

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了处理python字符串中的中文字符相关的知识,希望对你有一定的参考价值。

# -*- coding:utf-8 -*-
import sys,os
txta = open(‘a.txt‘,‘r‘)
str = ‘‘
for line in txta:
    str += line.strip().decode(‘utf-8‘)
txta.close()
for word in str:
    print word.encode(‘utf-8‘)

 直接输出,是会乱码的,得先解码,再编码。

参考网址:http://blog.csdn.net/devil_2009/article/details/39526713

首先要明白的是,python里面默认的字符串都是ASCII编码,是string类型,ASCII编码处理中文字符是会出问题的。python的内部编码格式是unicode,在字符串前加‘u’前缀也可直接声明unicode字符串,如 u‘hello‘就是unicode类型。
如果处理的字符串中出现非ascii码表示的字符,要想不出错,就得转成unicode编码了。具体的方法有:
decode(),将其他边编码的字符串转换成unicode编码,如str1.decode(‘gb2312‘),表示将gb2312编码的字符串str1转换成unicode编码;
encode(),将unicode编码转换成其他编码的字符串,如str2.encode(‘gb2312‘),表示将unicode编码的字符串str2转换成gb2312编码;
unicode(),同decode(),将其他编码的字符串转换成unicode编码,如unicode(str3, ‘gb2312‘),表示将gb2312编码的字符串str3转换成unicode编码。
转码的时候一定要先搞明白字符串str是什么编码,然后decode成unicode,最后再encode成其他编码。
      另外,对一个unicode编码的字符串在进行解码会出错,所以在编码未知的情况下要先判断其编码方式是否为unicode,可以用isinstance(str, unicode)。
      不仅是中文,以后处理含非ascii编码的字符串时,都可以遵循以下步骤:
1、确定源字符的编码格式,假设是utf8;
2、使用unicode()或decode()转换成unicode编码,如str1.decode(‘utf8‘),或者unicode(str1, ‘utf8‘);
3、把处理后字符串用encode()编码成指定格式。

以上是关于处理python字符串中的中文字符的主要内容,如果未能解决你的问题,请参考以下文章

在 Python 多处理进程中运行较慢的 OpenCV 代码片段

python多处理中的字符串参数

如何在导航抽屉活动模板中的片段之间传递字符串变量

比较 C# 中的字符串片段并从集合中删除项目

Python代码阅读(第25篇):将多行字符串拆分成列表

XSS:如何从 C# 中的字符串中删除 JS 片段?