四. 网络编程(TCP 黏包)

Posted sup-to

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了四. 网络编程(TCP 黏包)相关的知识,希望对你有一定的参考价值。

一 .黏包现象(TCP)

1.黏包成因

TCP协议中的数据传递
tcp协议的拆包机制
当发送端缓冲区的长度大于网卡的MTU时,tcp会将这次发送的数据拆成几个数据包发送出去。 
MTU是Maximum Transmission Unit的缩写。意思是网络上传送的最大数据包。MTU的单位是字节。 大部分网络设备的MTU都是1500
如果本机的MTU比网关的MTU大,大的数据包就会被拆开来传送,这样会产生很多数据包碎片,增加丢包率,降低网络速度
面向流的通信特点和Nagle算法

TCP(transport control protocol,传输控制协议)是面向连接的,面向流的,提供高可靠性服务。
收发两端(客户端和服务器端)都要有一一成对的socket,因此,发送端为了将多个发往接收端的包,更有效的发到对方
,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。 这样,接收端,就难于分辨出来了,必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。 对于空消息:tcp是基于数据流的,于是收发的消息不能为空,这就需要在客户端和服务端都添加空消息的处理机制,防止程序卡住
,而udp是基于数据报的,即便是你输入的是空内容(直接回车),也可以被发送,udp协议会帮你封装上消息头发送过去。 可靠黏包的tcp协议:tcp的协议数据不会丢,没有收完包,下次接收,会继续上次继续接收,己端总是在收到ack时才会清除缓冲区内容。数据是可靠的,但是会粘包。

                                                         技术图片


udp是基于数据报的,即便是你输入的是空内容(直接回车),也可以被发送,udp协议会帮你封装上消息头发送过去。 
不可靠不黏包的udp协议:udp的recvfrom是阻塞的,一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数据就算完成,若是y;x数据就丢失,这意味着udp根本不会粘包,
但是会丢数据,不可靠
subprocess模块是python从2.4版本开始引入的模块。
让我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd)
import
subprocess # subprocess模块是python从2.4版本开始引入的模块。 # 主要用来取代 一些旧的模块方法,如os.system、os.spawn*、os.popen*、commands.*等。subprocess通过子进程来执行外部指令 cmd=subprocess.Popen("dir",shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE) print(cmd.stderr.read().decode("gbk")) print(cmd.stdout.read().decode("gbk"))

2.基于tcp协议实现的黏包

server1
我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd)
import socket # import subprocess server=socket.socket() server.bind(("192.168.59.1",8600)) server.listen(5) conn,addr=server.accept() while True: cmd = input("请输入你终端命令:") conn.send(cmd.encode("utf-8")) ret = conn.recv(1024) print(ret.decode("utf-8"),"这是服务器哈哈哈") conn.close() server.close()
client1
我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd)

import socket import subprocess client=socket.socket() client.connect(("192.168.59.1",8600)) while True: msg=client.recv(1024) ret = subprocess.Popen(msg.decode(gbk), shell=True,stdout=subprocess.PIPE,stderr=subprocess.PIPE) err=我是err+(ret.stderr.read()).decode("gbk") out=我是out+(ret.stderr.read()).decode("gbk") print(err) print(out) client.send(err.encode("utf-8")) client.send(out.encode("utf-8")) print(msg.decode("utf-8")) client.close()
server2

from socket import *
import subprocess
ip_port=(127.0.0.1,8888)
server=socket(AF_INET,SOCK_STREAM)
server.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
server.bind(ip_port)
server.listen(5)
while True:
    conn,addr=server.accept()
    print(客户端,addr)
    while True:
        cmd=conn.recv(1024)
        if len(cmd) == 0:break
        res=subprocess.Popen(cmd.decode(utf-8),shell=True,
                         stdout=subprocess.PIPE,
                         stdin=subprocess.PIPE,
                         stderr=subprocess.PIPE)
        stderr=res.stderr.read()
        stdout=res.stdout.read()
        conn.send(stderr)
        conn.send(stdout)
client1

import socket
ip_port=(127.0.0.1,8888)
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
res=s.connect_ex(ip_port)
while True:
    msg=input(请输入命令哈: ).strip()
    if len(msg) == 0:continue
    if msg == quit:break

    s.send(msg.encode(utf-8))

    act_res=s.recv(1024)
    print(act_res.decode(utf-8),end=‘‘)

情况二 接收方的缓存机制

接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包) 

总结

黏包现象只发生在tcp协议中:

1.从表面上看,黏包问题主要是因为发送方和接收方的缓存机制、tcp协议面向流通信的特点。

2.实际上,主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的

 

 

以上是关于四. 网络编程(TCP 黏包)的主要内容,如果未能解决你的问题,请参考以下文章

网络编程之黏包

网络TCp数据的传输设计(黏包处理)

Python—socket编程和黏包问题

网络编程解决黏包现象

网络编程socketserver

TCP协议---TCP粘包黏包