python3网络编程之socket

Posted 2020-09-30

文章内容：

• socket介绍
• socket参数介绍
• 流程描述
• socket对象内建方法
• 基本socket实例
• 通过socket实现简单ssh并实现接收大数据

socket介绍

socket又称”套接字“，应用程序通常通过”套接字“向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程可以通讯。

socket起源于Unix，在Unix一切皆文件的哲学的思想下，socket是一种"打开—读/写—关闭"模式的实现，服务器和客户端各自维护一个"文件"，在建立连接打开后，可以向自己文件写入内容供对方读取或者读取对方内容，通讯结束时关闭文件。socket的英文原义是“插槽”或“插座”，就像我们家里座机一样，如果没有网线的那个插口，电话是无法通信的。Socket是实现TCP，UDP协议的接口，便于使用TCP,UDP。

socket参数介绍

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM, 0)
参数一：地址簇：
    1. socket.AF_INET   IPv4(默认)
    2. socket.AF_INET6  IPv6
    3. socket.AF_UNIX   只能够用于单一的Unix系统进程间通信

参数二：Socket类型：
    1. 流式socket（SOCK_STREAM）用于TCP通信（默认）
        流式套接字提供可靠的，面向连接的通信流；它使用TCP协议，从而保证了数据传输的正确性和顺序性
    2. 数据报socket（SOCK_DGRAM）用于UDP通信
        数据报套接字定义了一种无连接的服务，数据通过相互独立的报文进行传输，是无序的，并且不保证是 可靠的，无差错的、它使用数据报协议UDP
    3. 原始socket（SOCK_RAW）用于新的网络协议实现的测试等原始套接字，普通的套接字无法处理ICMP、IGMP等网络报文，而SOCK_RAW可以, 其次，SOCK_RAW也可以处理特殊的IPv4报文；
        此外，利用原始套接字，可以通过IP_HDRINCL套接字选项由用户构造IP头

参数三：协议
    0   （默认）与特定的地址家族相关的协议，如果是0，则系统就会根据地址形式格式和套接字类别，自动选择一个合适的协议

流程描述

1.服务器根据地址类型（Ipv4,Ipv6）、socket类型、协议创建socket

2.服务器为socket绑定IP地址和端口号

3.服务器socket监听端口号请求，随时准备接收客户端发来的连接，这时候服务器的socket并没有被打开

4.客服端创建socket

5.客服端打开socket，根据服务器IP地址和端口号试图连接服务器socket

6.服务器socket接收到客服端socket请求，被动打开，开始接收客户端请求，直到客户端返回连接信息。
  这时候socket进入阻塞状态。
（所谓阻塞即accept()方法一直等到客户端返回连接信息后才返回，开始接收下一个客户端连接请求）

7.客户端连接成功，向服务器发送连接状态信息

8.服务器accept方法返回，连接成功

9.客户端向socket写入信息(或服务端向socket写入信息)

10.服务器读取信息(客户端读取信息)

11.客户端关闭

12.服务器端关闭

socket对象内建方法

服务器端：

s.bind()     
# 绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。

s.listen()     
# 开始TCP监听。backlog指定在拒绝连接之前，操作系统可以挂起的最大连接数量。该值至少为1，大部分应用程序设为5就可以了。

s.accept()     
# 被动接受TCP客户端连接,(阻塞式)等待连接的到来

客户端：

s.connect()     
# 主动初始化TCP服务器连接，。一般address的格式为元组（hostname,port），如果连接出错，返回socket.error错误。

s.connect_ex()     
# connect()函数的扩展版本,出错时返回出错码,而不是抛出异常

公共用途函数（常用）：

s.recv()     
# 接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其他信息，通常可以忽略。

s.send()     
# 发送TCP数据，将string中的数据发送到连接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。

s.sendall()     
# 完整发送TCP数据，完整发送TCP数据。将string中的数据发送到连接的套接字，但在返回之前会尝试发送所有数据。
# 成功返回None，失败则抛出异常。

s.close()
# 关闭套接字

公共用途函数（不常用）：

s.recvform()     
# 接收UDP数据，与recv()类似，但返回值是（data,address）。
# 其中data是包含接收数据的字符串，address是发送数据的套接字地址。

s.sendto()     
# 发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。
# 返回值是发送的字节数。

s.getpeername()     
# 返回连接套接字的远程地址。返回值通常是元组（ipaddr,port）。

s.getsockname()     
# 返回套接字自己的地址。通常是一个元组(ipaddr,port)

s.setsockopt(level,optname,value)     
# 设置给定套接字选项的值。

s.getsockopt(level,optname[.buflen])      
# 返回套接字选项的值。

s.settimeout(timeout)     
# 设置套接字操作的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。
# 一般，超时期应该在刚创建套接字时设置，因为它们可能用于连接的操作（如connect()）

s.gettimeout()     
# 返回当前超时期的值，单位是秒，如果没有设置超时期，则返回None。

s.fileno()     
# 返回套接字的文件描述符。

s.setblocking(flag)     
# 如果flag为0，则将套接字设为非阻塞模式，否则将套接字设为阻塞模式（默认值）。
# 非阻塞模式下，如果调用recv()没有发现任何数据，或send()调用无法立即发送数据，那么将引起socket.error异常。

s.makefile()     
# 创建一个与该套接字相关连的文件

基本socket实例

服务器端（SocketServer.py）：

import socket
# 创建socket
server = socket.socket()
# 为socket绑定IP和端口号
server.bind((‘localhost‘, 9999))
# 监听设置端口等待客户端的请求
server.listen()
print(‘Waiting for client connect.‘)
# 接受并建立与客户端的连接,程序在此处开始阻塞,只到有客户端连接进来...
conn, addr = server.accept()
print("New connect:", addr)
data = conn.recv(1024)
print("Accept news:", data)
server.close()

客户端（SocketClinet.py）：

import socket
# 创建socket
client = socket.socket()
# 根据服务器IP地址和端口号试图连接服务器socket
client.connect((‘localhost‘, 9999))
client.send(b‘123‘)
client.close()

以上代码只是实现了服务器端和客户端一次交互，那要怎么实现多次交互呢？

服务器端支持多次交互（SocketServer.py）：

import socket
# 创建socket
server = socket.socket()
# 为socket绑定IP和端口号
server.bind((‘localhost‘, 9999))
# 监听设置端口等待客户端的请求
server.listen()
print(‘Waiting for client connect.‘)
# 接受并建立与客户端的连接,程序在此处开始阻塞,只到有客户端连接进来...
conn, addr = server.accept()
print("New connect:", addr)
while True:
    data = conn.recv(1024)
    # 判断服务器接到的数据是否为空（避免客户端一断开，服务器端进入死循环）
    if not data:
        print("Client disconnect.")
        break
    print("Accept news:", data)
    conn.send(data.upper())
server.close()

客服端支持多次交互（SocketClient.py）：

import socket
# 创建socket
client = socket.socket()
# 根据服务器IP地址和端口号试图连接服务器socket
client.connect((‘localhost‘, 9999))
while True:
    msg = input(">>>:").strip()
    if len(msg) == 0:continue
    client.send(msg.encode(‘utf-8‘))
    data = client.recv(1024)
    print("from server:",data)
client.close()

以上代码虽然实现了服务器端和客户端的多次交互，但是客户端一旦断开了，服务器端也会跟着立刻断开，因为服务器只有一个while 循环，客户端一断开，服务端收不到数据 ，就会直接break跳出循环，然后程序就退出了，这显然不是我们想要的结果 ，我们想要的是，客户端如果断开了，我们这个服务端还可以为下一个客户端服务。

Socket实现多连接处理：

import socket
# 创建socket
server = socket.socket()
# 为socket绑定IP和端口号
server.bind((‘localhost‘, 9999))
# 监听设置端口等待客户端的请求
server.listen()
while True:
    print(‘Waiting for client connect.‘)
    # 接受并建立与客户端的连接,程序在此处开始阻塞,只到有客户端连接进来...
    conn, addr = server.accept()
    print("New connect:", addr)
    while True:
        data = conn.recv(1024)
        # 判断服务器接到的数据是否为空（避免客户端一断开，服务器端进入死循环）
        if not data:
            print("Client disconnect.")
            break
        print("Accept news:", data)
        conn.send(data.upper())
server.close()

View Code

PS：此时服务器端依然只能同时为一个客户服务，其客户来了，得排队(连接挂起)。

通过socket实现简单ssh并实现接收大数据

其实在接收大数据的时候会引入一个重要的概念”粘包“，即服务器端你调用send两次，当你send调用时，数据其实并没有立刻被发送给客户端，而是放到了系统的socket发送缓冲区里，等缓冲区满了，或者数据等待超时了，数据才会被send到客户端，这样就把好几次的小数据拼成一个大数据，统一发送到客户端了，这么做的目地是为了提高io利用效率，一次性发送总比连发好几次效率高嘛。 但也带来一个问题，就是“粘包”，即2次或多次的数据粘在了一起统一发送了。

我们在这里必须要想办法把粘包分开， 因为不分开，你就没办法取出来服务器端返回的命令执行结果的大小呀。so ,那怎么分开呢？首先你是没办法让缓冲区强制刷新把数据发给客户端的。 你能做的，只有一个。就是，让缓冲区超时，超时了，系统就不会等缓冲区满了，会直接把数据发走，因为不能一个劲的等后面的数据呀，等太久，会造成数据延迟了，那可是极不好的。so如果让缓冲区超时呢？

解决方案如下：

服务器端每发送一个数据给客户端，就立刻等待客户端进行回应，即调用 conn.recv(1024), 由于recv在接收不到数据时是阻塞的，这样就会造成，服务器端接收不到客户端的响应，就不会执行后面的conn.sendall(命令结果)的指令，收到客户端响应后，再发送命令结果时，缓冲区就已经被清空了，因为上一次的数据已经被强制发到客户端了。

服务器端：

import socket,os,time

server = socket.socket()
server.bind((‘localhost‘, 9999))

server.listen()

while True:
    print(‘Waiting for client connect.‘)
    conn, addr = server.accept()
    print("new conn:", addr)
    while True:
        print("等待新指令")
        data = conn.recv(1024)
        if not data:
            print("客户端已断开")
            break
        print("执行命令:", data)
        cmd_res = os.popen(data.decode()).read() # 接受字符串，执行结果也是字符串
        print("before send", len(cmd_res))
        if len(cmd_res) == 0:
            cmd_res = "cmd has no output..."

        conn.send( str(len(cmd_res.encode())).encode("utf-8") )  # 先发大小给客户端
        # 为了防止粘包
        # time.sleep(0.5)
        client_ack = conn.recv(1024) # wait client  to confirm
        print("ack from client:", client_ack)

        conn.send(cmd_res.encode("utf-8"))
        print("send done")

server.close()

客户端：

import socket

client = socket.socket()
client.connect((‘localhost‘, 9999))

while True:
    cmd = input(">>>:").strip()
    if len(cmd) == 0:
        continue
    client.send(cmd.encode("utf-8"))
    cmd_res_size = client.recv(1024) # 接受命令结果长度
    print("命令结果大小:", cmd_res_size)
    client.send("准备好接受了，loser可以发了".encode("utf-8"))
    received_size = 0
    received_data = b‘‘
    while received_size < int(cmd_res_size.decode()):
        data = client.recv(1024)
        received_size += len(data) # 每次收到的有可能小于1024，所以必须用len判断
        # print(data.decode())
        received_data += data
    else:
        print("cmd res receive done...", received_size)
        print(received_data.decode())

client.close()