day26粘包

Posted 2020-10-31 lg04551

一、粘包现象

只有TCP有粘包现象，UDP永远不会粘包

res=subprocess.Popen(cmd.decode(‘utf-8‘),
shell=True,
stderr=subprocess.PIPE,
stdout=subprocess.PIPE)

的结果的编码是以当前所在的系统为准的，如果是windows，那么res.stdout.read()读出的就是GBK编码的，在接收端需要用GBK解码

且只能从管道里读一次结果

socket接收原理

所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。

 

tcp的协议数据不会丢，没有收完包，下次接收，会继续上次继续接收，己端总是在收到ack时才会清除缓冲区内容。数据是可靠的，但是会粘包。

两种情况会发生粘包

发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会合到一起，产生粘包）

接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包）

解决粘包的方法

为字节流加上自定义固定长度报头，报头中包含字节流长度，然后一次send到对端，对端在接收时，先从缓存中取出定长的报头，然后再取真实数据

egon解决粘包的方法

我们可以把报头做成字典，字典里包含将要发送的真实数据的详细信息，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节（4个自己足够用了）

发送时：

先发报头长度

再编码报头内容然后发送

最后发真实内容

 

接收时：

先手报头长度，用struct取出来

根据取出的长度收取报头内容，然后解码，反序列化

从反序列化的结果中取出待取数据的详细信息，然后去取真实的数据内容

struct模块

struct 模块
import json
header_dic={
        ‘total_size‘:102345
        ‘md5‘:1232141412ads
        ‘filename‘:‘a.txe‘
    
}                
header_json=json.dumps(heade_dic)
header_bytes=header_json.encode(‘utf-8‘)
header_size=len(header_bytes)

print(header_size)
obj=struct.pack(‘i‘,header_size)
print(obj,len(obj))

View Code

1、服务端

from socket import *

import subprocess、struct、json

server=socket(AF_INET,SOCK_STREAM)

server.bind((‘127.0.0.1‘,8080))

server.listen(5)

while True:

　　conn,client_addr=server.accept()

　　print(client_addr)

　　while True:

　　　　try:

　　　　　　cmd=conn.recv(1024)

　　　　　　obj=subprocess.Peopen(cmd,decode(‘utf-8‘),

　　　　　　　　　　　　　　　　  shell=True,

　　　　　　　　　　　　　　　　　stdout=subprocess.PIPE,

　　　　　　　　　　　　　　　　　stderr=subprocess.PIPE)

　　　　　　stdout=obj.stdout.read()

　　　　　　stderr=obj.stderr.read()

　　　　　　

　　　　# 1、制作报头
　　　　header_dic={
    　　　　‘total_size‘:len(stdout) + len(stderr),
    　　　　‘md5‘:‘123svsaef123sdfasdf‘,
    　　　　‘filename‘:‘a.txt‘
　　　　}
　　　　header_json = json.dumps(header_dic)
　　　　header_bytes = header_json.encode(‘utf-8‘)

　　　　# 2、先发送报头的长度
　　　　header_size=len(header_bytes)
　　　　conn.send(struct.pack(‘i‘,header_size))

　　　　# 3、发送报头
　　　　conn.send(header_bytes)

　　　　# 4、发送真实的数据
　　　　conn.send(stdout)
　　　　conn.send(stderr)
　　

except ConnectionResetError:
            break

    conn.close()
server.close()

客户端
from socket import*
import struct ,json
client=socket(AF_INET,SOCK_STREAM)

client.connect((‘127.0.0.1‘,8080))

while True:
　　cmd=input(‘>>>:‘).strip()
　　if not cmd:continue
　　client.send(cmd.encode(‘utf-8‘))
　　#1、先收报头的长度
　　head_size=struct.unpack(‘i‘,client.recv(4))[0]
　　#2、接收报头
　　header_bytes=client.recv(header_size)
　　#3、解析报头
　　header_json=header_bytes.decode(‘utf-8‘)
　　header_dic=json.loads(header_json)
　　print(header_dic)
　　total_size=header_sic[‘total_size‘]
　　#4、根据报头内的信息，收取真实的数据
　　recv_size=0
　　res=b‘‘
　　while recv_size<total_size:
　　　　recv_data=client.recv(1024)
　　　　res+=recv_data
　　　　recv_size+=len(recv_data)
　　print(res.decode(‘gbk‘))
clent.close()