Python -- 黏包

Posted 2022-05-09 agoni-7

8.7 黏包

1. 黏包现象: 产生黏包现象的根本原因是缓冲区.

   所谓粘包问题主要还是因为接收方不知道消息之间的界限，不知道一次性提取多少字节的数据所造成的。

   什么是黏包现象: 基于tcp协议的socket.客户端接收不完,下一次将继续接收(如果间隔时间相对过长,后续的数据会与之前的数据黏在一起),send数据时.连续发送少量的数据(时间间隔很短),这些数据会积压在一起发送出去.

2. 系统缓冲区的作用:

• 如果没有缓冲区,在你的网络出现短暂的异常或者波动,接收数据就会出现短暂的中断,影响你的下载或者上传的效率.
• 但是凡事都是双刃剑,缓冲区解决了上传下载的传输效率的问题,带来了黏包问题

1. 什么情况下会产生黏包?

   • recv会产生黏包(如果recv接收的数据量小于发送的数据量,第一次只能接收规定的数据量,第二次只能接收剩余的数据量)
   • send也可能发生黏包现象.(连续send少量的数据发送到输出缓冲区,由于缓冲区的机制,也可能在缓冲区中不断的积压,多次写入的数据被一次性发送到网络)

2. 解决黏包的方案

错误示例:

• 扩大recv的上限,不是解决这个问题的根本方法,这些会存放的内存中,占用内存.
• 故意延长recv的时间, 使用sleep 会非常影响效率

# 解决黏包现象的思路分析

1.当我第二次给服务器发送命令之前,我应该循环recv直至将所有的数据全部取完.
问题:
result 3000bytes recv 3次
result 5000bytes recv 5次
result 30000bytes recv ?次 ---> 循环次数相关

2.如何限制循环次数?
当你发送的总bytes个数,与接受的总bytes个数相等时,循环结束.

3.如何获取发送的总bytes个数: len() --- > 3400个字节 int
总数据 result = b'fdsafdskfdskfdsflksdfsdlksdlkfsdjf'
所以:
服务端:
send(总个数)
send(总数据)

4.总个数是什么类型? int() 3400,send需要发送 bytes类型.
send(总个数)
将int 转化成bytes 即可. b'3400'
方案一:
str(3400) -- > '3400' -----> bytes('3400') -----> b'3400' ---> 几个字节? 4个字节
send(总数据)

8.7.1 解决黏包方案 -- low版

? 问题的根源在于，接收端不知道发送端将要传送的字节流的长度，所以解决粘包的方法就是围绕，如何让发送端在发送数据前，把自己将要发送的字节流总数按照固定字节发送给接收端后面跟上总数据，然后接收端先接收固定字节的总字节流，再来一个死循环接收完所有数据。

# 服务端
import socket
import subprocess
import struct
phone = socket.socket()
phone.bind(('127.0.0.1',2222))
phone.listen(3)
conn,addr = phone.accept()
while 1:
    try:
        cmd = conn.recv(1024)
        obj = subprocess.Popen(cmd.decode('utf-8'),
                               shell=True,
                               stdout=subprocess.PIPE,
                               stderr=subprocess.PIPE
                               )
        result = obj.stdout.read() + obj.stderr.read()  # 是 'gbk' 类型
        print(f'服务端发送的总字节数len(result)')

        # 1.制作报头
        total_size = len(result)
        # 2.将不固定长度的int类型的宝图转化成固定长度的bytes类型,4个字节
        # 将一个数字转化成等长度bytes类型
        total_size_bytes = struct.pack('i',total_size)
        # 发送报头
        conn.send(total_size_bytes)
        # 发送元数据
        conn.send(result)
    except ConnectionResetError:
        break
conn.close()
phone.close()

# 客户端
import socket
import struct
phone = socket.socket()
phone.connect(('127.0.0.1',2222))

while 1:
    cmd = input('>>>').strip()
    phone.send(cmd.encode('utf-8'))

    # 1.接收报头
    head_recv = phone.recv(4)
    # 2.将报头反解回int类型
    total_size = struct.unpack('i',head_recv)[0]
    # 3.循环接收原数据
    total_data = b''
    while len(total_data) < total_size:
        total_data += phone.recv(1024)
    print(total_data.decode('gbk'))
phone.close()

8.7.2 黏包解决方案 -- 旗舰版

# 整个流程的大致解释：

我们可以把报头做成字典，字典里包含将要发送的真实数据的描述信息(大小啊之类的)，然后json序列化，然后用struck将序列化后的数据长度打包成4个字节。
我们在网络上传输的所有数据 都叫做数据包，数据包里的所有数据都叫做报文，报文里面不止有你的数据，还有ip地址、mac地址、端口号等等，其实所有的报文都有报头，这个报头是协议规定的，看一下

# 发送时：
先发报头长度
再编码报头内容然后发送
最后发真实内容

# 接收时：
先收报头长度，用struct取出来
根据取出的长度收取报头内容，然后解码，反序列化
从反序列化的结果中取出待取数据的描述信息，然后去取真实的数据内容

# 服务端
import socket
import subprocess
import struct
import json
phone = socket.socket()
phone.bind(('127.0.0.1',2222))
phone.listen(3)
conn,addr = phone.accept()
while 1:
    try:
        cmd = conn.recv(1024)
        obj = subprocess.Popen(cmd.decode('utf-8'),
                               shell=True,
                               stdout=subprocess.PIPE,
                               stderr=subprocess.PIPE
                               )
        result = obj.stdout.read() + obj.stderr.read()
        result = result.decode('gbk').encode('utf-8')
        print(f'服务端发送的总字节数len(result)')

        # 1.制作报头
        head_dict = 'MD5':'da54f56a4sf65A4F64A6SD5F',
                     'file_name':'Agoni',
                     'file_size':len(result)
                     
        # 2.将报头字典转换成json字符串
        head_dict_json = json.dumps(head_dict)
        # 3.将json报头字典转换成的bytes类型
        head_dict_json_bytes = head_dict_json.encode('utf-8')
        # 4.获取报头长度 (客户端第二次接收报头长度的字节,解码得到json报头字典)
        head_len = len(head_dict_json_bytes)
        # 5.将报头转换成固定长度的bytes类型,4个字节(客户端第一次接收等长度的字节,得到报头字节长度)
        head_len_bytes = struct.pack('i',head_len)
        # 6.发送报头
        conn.send(head_len_bytes)
        # 7.发送bytes报头字典
        conn.send(head_dict_json_bytes)
        # 8.发送原数据
        conn.send(result)
    except ConnectionResetError:
        break
conn.close()
phone.close()

# 客户端
import socket
import struct
import json
phone = socket.socket()
phone.connect(('127.0.0.1',2222))

while 1:
    cmd = input('>>>').strip()
    phone.send(cmd.encode('utf-8'))

    # 1.接收报头
    head_recv = phone.recv(4)
    # 2.将报头反解回int类型
    head_len = struct.unpack('i',head_recv)[0]
    # 3.接收bytes类型的json报头字典
    head_json_dict = phone.recv(head_len).decode('utf-8')
    # 4.将json类型字典反序列化
    head_dict = json.loads(head_json_dict)
    print(head_dict)
    # 3.循环接收原数据
    file_data = b''
    while len(file_data) < head_dict['file_size']:
        file_data += phone.recv(1024)
    print(file_data.decode('utf-8'))
phone.close()