编码与解码

Posted 2021-01-18

1.字符编码

ascii码(不能直接写字符，汉字从而引入了GBK码)
GB2312 收录了7445个汉字及字符；
GBK1.0 收录了21886个汉字及字符；
GB18030 收录了27484个汉字及字符；
unicode 国际标准但都需要俩个字节；
utf-8 是优化的国际化的统一标准，（是可变长的字符集）英文及其字符用1byte表示，而汉字要用3bite表示；

2 .代码中的体现

res1=‘你好‘
res2=‘hello‘

print(res1.encode(‘utf-8‘) ,type(res1.encode(‘utf-8‘)))   # b‘**xe4xbdxa0**xe5xa5xbd‘  bytes类型
print(res2.encode(‘utf-8‘))         # b‘hello‘

print(res1.encode(‘gbk‘),type(res1.encode(‘gbk‘)))   # b‘**xc4xe3**xbaxc3‘                bytes类型
print(res2.encode(‘gbk‘))        # b‘hello‘

能够发现英文在gbk与utf-8的编码下是不发生变换的;而汉字在gbk的编码下是2字节,而在utf-8的编码下是3字节,类型是bytes类型

ret1=b‘xe4xbdxa0xe5xa5xbd‘
print(ret1.decode(‘utf-8‘))
print(ret1.decode(‘gbk‘))      #  会出现乱码 浣犲ソ

能够发现utf-8编码下的bytes类型,由gbk解码能够解码但出现了乱码,因为gbk每2个字节解码一次

ret2=b‘xc4xe3xbaxc3‘
print(ret2.decode(‘gbk‘))     #  能够解码为    你好

print(ret2.decode(‘utf-8‘))
#  报错的类型:  UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xc4 in position 0: invalid continuation byte
能够发现utf-8编码下的bytes类型,由gbk解码能够解码但出现了乱码,因为gbk每2个字节解码一次

3.实际中遇到的问题(模拟黏包问题)`

server端:

import socket

sk=socket.socket()
sk.bind((‘127.0.0.1‘,8091))
sk.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)

sk.listen()
conn,addre=sk.accept()

while True:
    cmd=input(‘>>>‘)
    if cmd==‘Q‘:
        conn.send(cmd.encode(‘utf-8‘))
        break
    conn.send(cmd.encode(‘utf-8‘))
    res=conn.recv(1024)
    print(res.decode(‘utf-8‘))
conn.close()

sk.close()

client端:

import socket
import subprocess

sk=socket.socket()

sk.connect((‘127.0.0.1‘,8091))

while True:
    cmd=sk.recv(1024).decode(‘utf-8‘)
    if cmd==‘Q‘:
        break
    res=subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE)  # stdout；stderr拿到的数据就是bytes类型
    stdout=‘stdout:‘+res.stdout.read().**decode(‘gbk‘)**     # 这里的解码只能是gbk,因为它的编码形式就是gbk
    stderr = ‘stderr:‘ + res.stderr.read()**.decode(‘gbk‘)**  
    sk.send(bytes(stdout,encoding=‘utf-8‘))
    sk.send(bytes(stderr,encoding=‘utf-8‘))

sk.close()

4.个注意的问题:
1.socket,send(‘数据类型只能是bytes,传码之前一定要编码‘);
2.str+ bytes是不能拼接的,只有将bytes类型解码成str才能拼接;

(能力有限,多多指教^-^)