Python将形如”xe4..."的十六进制编码字符串恢复为中文

Posted 2020-10-18 DGSX

今天处理的一个文件里面中文都变成了形如”\xe4..."的十六进制编码，其他字符正常。

大致研究了下发现这些编码三个一组表示一个汉字，由于文本中夹杂着正常符号，我决定用正则匹配方式将三个一组的十六进制码字符串替换为其代表的汉字。

输入文件内容如：

#\xE5\xBE\xAE\xE6\x84\x9F\xE8\xB0\xA2##\xE6\x8A\xA5\xE5\x96\x9C\xEF\xBC\x9A\xE4\xBA\x91\xE6\xA3\x80\xE7\xB2\x89\xE4\xB8\x9D159\xE4\xB8\x87\xE4\xBA\x86#\xE5\x9C\xA8\xE8\xBF\x99\xE4\xB8\xAA\xE5\x91\xA8\xE4\xB8\x89\xE4\xB8\x8B\xE5\x8D\x885\xE6\x97\xB6\xEF\xBC\x8C\xE4\xBA\x91\xE6\xA3\x80\xE5\xBE\xAE\xE5\x8D\x9A\xE7\xB2\x89\xE4\xB8\x9D\xE8\xBF\x87159\xE4\xB8\x87\xE3\x80\x82\xE8\xBF\x87\xE5\x8E\xBB\xE7\x9A\x84\xE5\xA4\x9A\xE5\xB0\x91\xE4\xB8\xAA\xE6\x97\xA5\xE6\x97\xA5\xE5\xA4\x9C\xE5\xA4\x9C\xEF\xBC\x8C\xE8\xAE\xB8\xE8\xAE\xB8\xE5\xA4\x9A\xE5\xA4\x9A\xE8\xAE\xA4\xE8\xAF\x86\xE7\x9A\x84\xE4\xB8\x8D\xE8\xAE\xA4\xE8\xAF\x86\xE7\x9A\x84\xE6\x9C\x8B\xE5\x8F\x8B\xE5\x92\x8C\xE5\x81\xB6\xE4\xBB\xAC\xE4\xB8\x80\xE8\xB7\xAF\xE5\x90\x8C\xE8\xA1\x8C\xEF\xBC\x8C\xE4\xB8\xBA\xE4\xBA\x91\xE6\xA3\x80\xE5\xBE\xAE\xE5\x8D\x9A\xE5\x8F\x91\xE5\xB1\x95\xE5\x87\xBA\xE5\x8A\x9B\xE7\x8C\xAE\xE7\xAD\x96\xEF\xBC\x8C\xE9\xBC\x93\xE5\x8A\xB2\xE6\x89\x93\xE6\xB0\x94\xEF\xBC\x8C\xE4\xB8\xBA\xE4\xBA\x91\xE6\xA3\x80\xE5\xBE\xAE\xE4\xBF\xA1\xE7\x82\xB9\xE8\xB5\x9E\xEF\xBC\x81\xE5\x9C\xA8\xE5\x8F\x8C\xE5\xBE\xAE\xE5\xB9\xB3\xE5\x8F\xB0\xE4\xB8\x8A\xEF\xBC\x8C\xE5\x81\xB6\xE5\x92\x8C\xE4\xBD\xA0\xE3\x80\x81\xE5\x92\x8C\xE4\xBB\x96\xE9\x83\xBD\xE6\x98\xAF\xE6\x9C\x8B\xE5\x8F\x8B\xEF\xBC\x8C\xE6\x98\xAF\xE6\x9C\x8B\xE5\x8F\x8B\xE6\x89\x8D\xE8\x83\xBD\xE5\xB9\xB3\xE7\xAD\x89\xE5\xAF\xB9\xE7\xAD\x89\xE4\xBA\xA4\xE6\xB5\x81\xE6\xB2\x9F\xE9\x80\x9A\xE3\x80\x82\xE5\x92\xB1\xE6\xB0\xB8\xE8\xBF\x9C\xE6\x98\xAF\xE6\x9C\x8B\xE5\x8F\x8B\xEF\xBC\x8C\xE6\x84\x9F\xE8\xB0\xA2\xE6\x82\xA8\xEF\xBC\x81

 

import re

def unicodetostr( s ):
    strTobytes = []
    for i in s.split(‘\\x‘):
        if i != ‘‘:
            num = int(i,16)
            strTobytes.append(num)
    a = bytes(strTobytes).decode()
    return a
def ti(m):
    s = str(m.group())
    a = unicodetostr(s)
    return a
pat = re.compile(r‘(\\x[0-9a-fA-F][0-9a-fA-F]){3}‘)
with open(‘filename‘) as file:
    for line in file:
        ‘‘‘for m in re.finditer(pat,line):
            print(m.group())‘‘‘
        print(re.sub(pat,ti,line))

 结果为

#微感谢##报喜：云检粉丝159万了#在这个周三下午5时，云检微博粉丝过159万。过去的多少个日日夜夜，许许多多认识的不认识的朋友和偶们一路同行，为云检微博发展出力献策，鼓劲打气，为云检微信点赞！在双微平台上，偶和你、和他都是朋友，是朋友才能平等对等交流沟通。咱永远是朋友，感谢您！