峰哥解决粘包的方式

Posted dangrui0725

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了峰哥解决粘包的方式相关的知识,希望对你有一定的参考价值。

峰哥解决粘包的方法
为字节流加上自定义固定长度报头,报头中包含字节流长度,然后一次send到对端,对端在接收时,先从缓存中取出定长的报头,然后再取真实数据

struct模块

该模块可以把一个类型,如数字,转成固定长度的bytes

>> > struct.pack(‘i‘, 1111111111111)

。。。。。。。。。

struct.error: ‘i‘
format
requires - 2147483648 <= number <= 2147483647 # 这个是范围

技术分享图片

import json, struct

# 假设通过客户端上传1T:1073741824000的文件a.txt

# 为避免粘包,必须自定制报头
header = {file_size: 1073741824000, file_name: /a/b/c/d/e/a.txt,
          md5: 8f6fbf8347faa4924a76856701edb0f3}  # 1T数据,文件路径和md5值

# 为了该报头能传送,需要序列化并且转为bytes
head_bytes = bytes(json.dumps(header), encoding=utf-8)  # 序列化并转成bytes,用于传输

# 为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节
head_len_bytes = struct.pack(i, len(head_bytes))  # 这4个字节里只包含了一个数字,该数字是报头的长度

# 客户端开始发送
conn.send(head_len_bytes)  # 先发报头的长度,4个bytes
conn.send(head_bytes)  # 再发报头的字节格式
conn.sendall(文件内容)  # 然后发真实内容的字节格式

# 服务端开始接收
head_len_bytes = s.recv(4)  # 先收报头4个bytes,得到报头长度的字节格式
x = struct.unpack(i, head_len_bytes)[0]  # 提取报头的长度

head_bytes = s.recv(x)  # 按照报头长度x,收取报头的bytes格式
header = json.loads(json.dumps(header))  # 提取报头

# 最后根据报头的内容提取真实的数据,比如
real_data_len = s.recv(header[file_size])
s.recv(real_data_len)
# struct的用法
#
_*_coding:utf-8_*_ # http://www.cnblogs.com/coser/archive/2011/12/17/2291160.html __author__ = Linhaifeng import struct import binascii import ctypes values1 = (1, abc.encode(utf-8), 2.7) values2 = (defg.encode(utf-8), 101) s1 = struct.Struct(I3sf) s2 = struct.Struct(4sI) print(s1.size, s2.size) prebuffer = ctypes.create_string_buffer(s1.size + s2.size) print(Before : , binascii.hexlify(prebuffer)) # t=binascii.hexlify(‘asdfaf‘.encode(‘utf-8‘)) # print(t) s1.pack_into(prebuffer, 0, *values1) s2.pack_into(prebuffer, s1.size, *values2) print(After pack, binascii.hexlify(prebuffer)) print(s1.unpack_from(prebuffer, 0)) print(s2.unpack_from(prebuffer, s1.size)) s3 = struct.Struct(ii) s3.pack_into(prebuffer, 0, 123, 123) print(After pack, binascii.hexlify(prebuffer)) print(s3.unpack_from(prebuffer, 0))

自定义报头

# 服务端
import
socket, struct, json import subprocess phone = socket.socket(socket.AF_INET, socket.SOCK_STREAM) phone.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 就是它,在bind前加 phone.bind((127.0.0.1, 8080)) phone.listen(5) while True: conn, addr = phone.accept() while True: cmd = conn.recv(1024) if not cmd: break print(cmd: %s % cmd) res = subprocess.Popen(cmd.decode(utf-8), shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) err = res.stderr.read() print(err) if err: back_msg = err else: back_msg = res.stdout.read() conn.send(struct.pack(i, len(back_msg))) # 先发back_msg的长度 conn.sendall(back_msg) # 在发真实的内容 conn.close()

# 客户端
# _*_coding:utf-8_*_
__author__ = Linhaifeng
import socket, time, struct

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
res = s.connect_ex((127.0.0.1, 8080))

while True:
    msg = input(>>: ).strip()
    if len(msg) == 0: continue
    if msg == quit: break

    s.send(msg.encode(utf-8))

    l = s.recv(4)
    x = struct.unpack(i, l)[0]
    print(type(x), x)
    # print(struct.unpack(‘I‘,l))
    r_s = 0
    data = b‘‘
    while r_s < x:
        r_d = s.recv(1024)
        data += r_d
        r_s += len(r_d)

    # print(data.decode(‘utf-8‘))
    print(data.decode(gbk))  # windows默认gbk编码

我们可以把报头做成字典,字典里包含将要发送的真实数据的详细信息,然后json序列化,然后用struck将序列化后的数据长度打包成4个字节(4个自己足够用了)

发送时:

先发报头长度

再编码报头内容然后发送

最后发真实内容

接收时:

先手报头长度,用struct取出来

根据取出的长度收取报头内容,然后解码,反序列化

从反序列化的结果中取出待取数据的详细信息,然后去取真实的数据内容

#服务端定制复杂的报头
import socket, struct, json
import subprocess

phone = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
phone.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)  # 就是它,在bind前加

phone.bind((127.0.0.1, 8080))

phone.listen(5)

while True:
    conn, addr = phone.accept()
    while True:
        cmd = conn.recv(1024)
        if not cmd: break
        print(cmd: %s % cmd)

        res = subprocess.Popen(cmd.decode(utf-8),
                               shell=True,
                               stdout=subprocess.PIPE,
                               stderr=subprocess.PIPE)
        err = res.stderr.read()
        print(err)
        if err:
            back_msg = err
        else:
            back_msg = res.stdout.read()

        headers = {data_size: len(back_msg)}
        head_json = json.dumps(headers)
        head_json_bytes = bytes(head_json, encoding=utf-8)

        conn.send(struct.pack(i, len(head_json_bytes)))  # 先发报头的长度
        conn.send(head_json_bytes)  # 再发报头
        conn.sendall(back_msg)  # 在发真实的内容

    conn.close()
# 客户端
from socket import *
import struct, json

ip_port = (127.0.0.1, 8080)
client = socket(AF_INET, SOCK_STREAM)
client.connect(ip_port)

while True:
    cmd = input(>>: )
    if not cmd: continue
    client.send(bytes(cmd, encoding=utf-8))

    head = client.recv(4)
    head_json_len = struct.unpack(i, head)[0]
    head_json = json.loads(client.recv(head_json_len).decode(utf-8))
    data_len = head_json[data_size]

    recv_size = 0
    recv_data = b‘‘
    while recv_size < data_len:
        recv_data += client.recv(1024)
        recv_size += len(recv_data)

    print(recv_data.decode(utf-8))
    # print(recv_data.decode(‘gbk‘)) #windows默认gbk编码

 



































以上是关于峰哥解决粘包的方式的主要内容,如果未能解决你的问题,请参考以下文章

解决粘包的方法

第31篇 粘包的产生原理 以及如何解决粘包问题

关于粘包的解决方法

TCP粘包问题

TCP粘包问题

TCP粘包和拆包