网络编程中黏包的解决方案
Posted 清欢
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了网络编程中黏包的解决方案相关的知识，希望对你有一定的参考价值。
解决方案一
问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，如何让发送端在发送数据前，把自己将要发送的字节流总大小让接收端知晓，然后接收端来一个死循环接收完所有数据。
#_*_coding:utf-8_*_ import socket,subprocess ip_port=(\'127.0.0.1\',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print(\'客户端\',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode(\'utf-8\'),shell=True,\\ stdin=subprocess.PIPE,\\ stderr=subprocess.PIPE,\\ stdout=subprocess.PIPE) err=res.stderr.read() if err: ret=err else: ret=res.stdout.read() data_length=len(ret) conn.send(str(data_length).encode(\'utf-8\')) data=conn.recv(1024).decode(\'utf-8\') if data == \'recv_ready\': conn.sendall(ret) conn.close() 服务端
#_*_coding:utf-8_*_ import socket,time s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex((\'127.0.0.1\',8080)) while True: msg=input(\'>>: \').strip() if len(msg) == 0:continue if msg == \'quit\':break s.send(msg.encode(\'utf-8\')) length=int(s.recv(1024).decode(\'utf-8\')) s.send(\'recv_ready\'.encode(\'utf-8\')) send_size=0 recv_size=0 data=b\'\' while recv_size < length: data+=s.recv(1024) recv_size+=len(data) print(data.decode(\'utf-8\')) 客户端
存在的问题：
程序的运行速度远快于网络传输速度，所以在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗
解决方案进阶
刚刚的方法，问题在于我们我们在发送
我们可以借助一个模块，这个模块可以把要发送的数据长度转换成固定长度的字节。这样客户端每次接收消息之前只要先接受这个固定长度字节的内容看一看接下来要接收的信息大小，那么最终接受的数据只要达到这个值就停止，就能刚好不多不少的接收完整的数据了。
struct模块
该模块可以把一个类型，如数字，转成固定长度的bytes
1 import json,struct 2 #假设通过客户端上传1T:1073741824000的文件a.txt 3 4 #为避免粘包,必须自定制报头 5 header={\'file_size\':1073741824000,\'file_name\':\'/a/b/c/d/e/a.txt\',\'md5\':\'8f6fbf8347faa4924a76856701edb0f3\'} #1T数据,文件路径和md5值 6 7 #为了该报头能传送,需要序列化并且转为bytes 8 head_bytes=bytes(json.dumps(header),encoding=\'utf-8\') #序列化并转成bytes,用于传输 9 10 #为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节 11 head_len_bytes=struct.pack(\'i\',len(head_bytes)) #这4个字节里只包含了一个数字,该数字是报头的长度 12 13 #客户端开始发送 14 conn.send(head_len_bytes) #先发报头的长度,4个bytes 15 conn.send(head_bytes) #再发报头的字节格式 16 conn.sendall(文件内容) #然后发真实内容的字节格式 17 18 #服务端开始接收 19 head_len_bytes=s.recv(4) #先收报头4个bytes,得到报头长度的字节格式 20 x=struct.unpack(\'i\',head_len_bytes)[0] #提取报头的长度 21 22 head_bytes=s.recv(x) #按照报头长度x,收取报头的bytes格式 23 header=json.loads(json.dumps(header)) #提取报头 24 25 #最后根据报头的内容提取真实的数据,比如 26 real_data_len=s.recv(header[\'file_size\']) 27 s.recv(real_data_len)
#_*_coding:utf-8_*_ #http://www.cnblogs.com/coser/archive/2011/12/17/2291160.html __author__ = \'Linhaifeng\' import struct import binascii import ctypes values1 = (1, \'abc\'.encode(\'utf-8\'), 2.7) values2 = (\'defg\'.encode(\'utf-8\'),101) s1 = struct.Struct(\'I3sf\') s2 = struct.Struct(\'4sI\') print(s1.size,s2.size) prebuffer=ctypes.create_string_buffer(s1.size+s2.size) print(\'Before : \',binascii.hexlify(prebuffer)) # t=binascii.hexlify(\'asdfaf\'.encode(\'utf-8\')) # print(t) s1.pack_into(prebuffer,0,*values1) s2.pack_into(prebuffer,s1.size,*values2) print(\'After pack\',binascii.hexlify(prebuffer)) print(s1.unpack_from(prebuffer,0)) print(s2.unpack_from(prebuffer,s1.size)) s3=struct.Struct(\'ii\') s3.pack_into(prebuffer,0,123,123) print(\'After pack\',binascii.hexlify(prebuffer)) print(s3.unpack_from(prebuffer,0)) 关于struct的详细用法
使用struct解决黏包
借助struct模块，我们知道长度数字可以被转换成一个标准大小的4字节数字。因此可以利用这个特点来预先发送数据长度。
| 发送时 | 接收时 |
| 先发送struct转换好的数据长度4字节 | 先接受4个字节使用struct转换成数字来获取要接收的数据长度 |
| 再发送数据 | 再按照长度接收数据 |
import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind((\'127.0.0.1\',8080)) phone.listen(5) while True: conn,addr=phone.accept() while True: cmd=conn.recv(1024) if not cmd:break print(\'cmd: %s\' %cmd) res=subprocess.Popen(cmd.decode(\'utf-8\'), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) err=res.stderr.read() print(err) if err: back_msg=err else: back_msg=res.stdout.read() conn.send(struct.pack(\'i\',len(back_msg))) #先发back_msg的长度 conn.sendall(back_msg) #在发真实的内容 conn.close()
#_*_coding:utf-8_*_ import socket,time,struct s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex((\'127.0.0.1\',8080)) while True: msg=input(\'>>: \').strip() if len(msg) == 0:continue if msg == \'quit\':break s.send(msg.encode(\'utf-8\')) l=s.recv(4) x=struct.unpack(\'i\',l)[0] print(type(x),x) # print(struct.unpack(\'I\',l)) r_s=0 data=b\'\' while r_s < x: r_d=s.recv(1024) data+=r_d r_s+=len(r_d) # print(data.decode(\'utf-8\')) print(data.decode(\'gbk\')) #windows默认gbk编码 客户端（自定制报头）
我们还可以把报头做成字典，字典里包含将要发送的真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节（4个自己足够用了）
| 发送时 | 接收时 |
|
先发报头长度 |
先收报头长度，用struct取出来 |
| 再编码报头内容然后发送 | 根据取出的长度收取报头内容，然后解码，反序列化 |
| 最后发真实内容 | 从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容 |
import socket,struct,json import subprocess phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #就是它，在bind前加 phone.bind((\'127.0.0.1\',8080)) phone.listen(5) while True: conn,addr=phone.accept() while True: cmd=conn.recv(1024) if not cmd:break print(\'cmd: %s\' %cmd) res=subprocess.Popen(cmd.decode(\'utf-8\'), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) err=res.stderr.read() print(err) if err: back_msg=err else: back_msg=res.stdout.read() headers={\'data_size\':len(back_msg)} head_json=json.dumps(headers) head_json_bytes=bytes(head_json,encoding=\'utf-8\') conn.send(struct.pack(\'i\',len(head_json_bytes))) #先发报头的长度 conn.send(head_json_bytes) #再发报头 conn.sendall(back_msg) #在发真实的内容 conn.close() 服务端：定制稍微复杂一点的报头
from socket import * import struct,json ip_port=(\'127.0.0.1\',8080) client=socket(AF_INET,SOCK_STREAM) client.connect(ip_port) while True: cmd=input(\'>>: \') if not cmd:continue client.send(bytes(cmd,encoding=\'utf-8\')) head=client.recv(4) head_json_len=struct.unpack(\'i\',head)[0] head_json=json.loads(client.recv(head_json_len).decode(\'utf-8\')) data_len=head_json[\'data_size\'] recv_size=0 recv_data=b\'\' while recv_size < data_len: recv_data+=client.recv(1024) recv_size+=len(recv_data) print(recv_data.decode(\'utf-8\')) #print(recv_data.decode(\'gbk\')) #windows默认gbk编码 客户端
简单的FTP:上传下载文件
import time import json import socket import struct sk = socket.socket() sk.bind((\'127.0.0.1\',8090)) sk.listen() buffer = 1024 conn,addr = sk.accept() # 接收 head_len = conn.recv(4) print(head_len) head_len = struct.unpack(\'i\',head_len)[0] json_head = conn.recv(head_len).decode(\'utf-8\') head = json.loads(json_head) filesize = head[\'filesize\'] print(filesize) with open(r\'dir\\%s\' %head[\'filename\'],\'wb\') as f: while filesize: if filesize >= buffer: print(filesize) content = conn.recv(buffer) f.write(content) filesize -= buffer else: content = conn.recv(filesize) f.write(content) filesize = 0 print(filesize) conn.close() sk.close()
# 发送端 import os import json import struct import socket sk = socket.socket() sk.connect((\'127.0.0.1\',8090)) buffer = 1024 # buffer = 1024 # 发送文件 head = {\'filepath\':r\'D:\', \'filename\':r\'lalala\', \'filesize\':None} file_path = os.path.join(head[\'filepath\'],head[\'filename\']) #file_path和filename地址拼接 print(\'我是file_path\',file_path) filesize = os.path.getsize(file_path) #获取文件大小 head[\'filesize\'] = filesize # json_head = json.dumps(head) # 字典转成了字符串file_path: # print(json_head) bytes_head = json_head.encode(\'utf-8\') # 字符串转bytes # 计算head的长度 head_len = len(bytes_head) # 报头的长度 pack_len = struct.pack(\'i\',head_len) # print(pack_len) sk.send(pack_len) # 先发报头的长度 sk.send(bytes_head) # 再发送bytes类型的报头 with open(file_path,\'rb\') as f: while filesize: # print(filesize) if filesize >= buffer: content = f.read(buffer) # 每次读出来的内容 # print(\'===>\',len(content)) sk.send(content) filesize -= buffer else: content = f.read(filesize) sk.send(content) filesize = 0 sk.close()
以上是关于网络编程中黏包的解决方案的主要内容，如果未能解决你的问题，请参考以下文章