python中黏包现象

Posted 2020-12-29 Hear7

#黏包:发送端发送数据,接收端不知道应如何去接收造成的一种数据混乱现象.

#关于分包和黏包:
    #黏包:发送端发送两个字符串"hello"和"word",接收方却一次性接收到"helloword"
    #分包:发送端发送字符串"helloword",接收方却受到了两个字符串"hello"和"word"
#虽然socket环境有这些问题,但是TCP传输数据能保证几点:
    #顺序不变,发送端发送hello,接收方一点顺序接收hello,这个TCP协议的特点,成为了
        #解决分包,黏包问题的关键.
    #分割的包中间不会插入其它数据
    #注意:
        #如果用socket通讯,就一定要自己定义一份协议,目前的标准协议是:消息头部(包头)+消息长度+消息正文
#TCP协议的拆包机制:
    #当发送缓冲区的长度大于网卡的MTU时,tcp会将这次发送的数据拆分成几个数据包发出去
    #MTU是Maximum Transmission Unit的缩写.意思是网络上传送的最大数据包.MTU的单位是字节
    #大部分网络设备的MTU都是1500.如果本机的MTU比网关的MTU大,大的数据包就会被拆分传送
    #这样会产生很多数据包碎片,增加丢包率,降低网络数据.

#面向字节流的通信特点和Nagle算法
    #TCP是面向连接的,面向流的,提供高可靠性服务
    #收发两端(客户端和服务端)都要有成对的socket,因此,发送端为了将多个发往接收端的包,更有效的
    #发到对方,使用了优化方法(Nagle算法),将多次间隔较小的数据量小的数据合并成一个大的数据块,然后打包发送
    #这样,接收端,接收端就很难分辨出来,必须提供科学的拆包机制.即面向流的通信是无边界保护的
    #注意:
        #对于空消息:tcp是基于数据流,于是收发的消息不能为空,需要在程序服务端和客户端添加空消息处理机制,防止程序
                    #卡住,而udp是基于数据报的,即使你输入的是空内容,也可以被发送,udp协议会帮助你封装上消息的头
                    #发送过去
        #可靠黏包的tcp协议:tcp的协议数据不会丢失,没有收完包,下次接收,会继续上次继续接收,接收端
                        #总是在收到ack时才会清除缓冲区内容.数据是可靠的,但是黏包.
        # tcp黏包的成因:
                #socket客户端 <<<<<<<<用户态>>>>>>socket服务端
                #    ^|                                 ^|
                #    ^|                                 ^|
                #    ^|                                 ^|
                #   缓存<<<<<<<<<<  内核态  >>>>>>>>>>>缓存

        #socket数据传输过程中的用户态与内核态说明:
            #发送端可以是一K一K地发送数据，而接收端的应用程序可以两K两K地提走数据
            # 当然也有可能一次提走3K或6K数据，或者一次只提走几个字节的数据。
            # 也就是说，应用程序所看到的数据是一个整体，或说是一个流（stream），
            # 一条消息有多少字节对应用程序是不可见的，因此TCP协议是面向流的协议，
            # 这也是容易出现粘包问题的原因。 而UDP是面向消息的协议，每个UDP段都是一条消息，
            # 应用程序必须以消息为单位提取数据，不能一次提取任意字节的数据， 这一点和TCP是很不同的。
            # 怎样定义消息呢？可以认为对方一次性write/send的数据为一个消息，
            # 需要明白的是当对方send一条信息的时候，无论底层怎样分段分片
            # TCP协议层会把构成整条消息的数据段排序完成后才呈现在内核缓冲区。

    #例如基于tcp的套接字客户端往服务端上传文件，发送时文件内容是按照一段一段的字节流发送的，
    # 在接收方看了，根本不知道该文件的字节流从何处开始，在何处结束
    # 此外，发送方引起的粘包是由TCP协议本身造成的，TCP为提高传输效率，
    # 发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，
    # 通常TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。

#UDP不会发生黏包现象:
    #UDP是无连接的,面向数据报,提供高效率服务
    #不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）
    # 采用了链式结构来记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），
    # 这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
    # 对于空消息：tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制
    # ，防止程序卡住，而udp是基于数据报的，即便是你输入的是空内容（直接回车），也可以被发送，
    # udp协议会帮你封装上消息头发送过去。 不可靠不黏包的udp协议：udp的recvfrom是阻塞的，
    # 一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数据就算完成,若是y;x数据就丢失，
    # 这意味着udp根本不会粘包，但是会丢数据，不可靠。

#注意:
    #udp和tcp一次发送数据长度的限制
    #用UDP协议发送时，用sendto函数最大能发送数据的长度为：65535- IP头(20) – UDP头(8)＝65507字节。
    # 用sendto函数发送数据时，如果发送数据长度大于该值，则函数会返回错误。（丢弃这个包，不进行发送）
    # 用TCP协议发送时，由于TCP是数据流协议，因此不存在包大小的限制（暂不考虑缓冲区的大小），
    # 这是指在用send函数时，数据长度参数不受限制。而实际上，所指定的这段数据并不一定会一次性发送出去，
    # 如果这段数据比较长，会被分段发送，如果比较短，可能会等待和下一次数据一起发送。
    #
    #数据链路层:
        #因为网卡的MTU一般被限制在1500
         #数据链路层大小限制 1500-ip包头(20)-udp包头(8) = 1472
         # if sendto(num)
         #  num > 65507  报错
         #  1472< num < 65507   会在数据链路层拆分
         #udp本身是不可靠协议,一旦解包,会造成数据丢失
         #  num < 1472 是比较理想的状态