网络编程

Posted 2021-03-06 lijunhai

网络编程

1.网络概念的引入

• 两个运行中的程序如何传递信息？
  • 通过文件
• 两台机器上的两个运行中的程序如何通信？
  • 通过网络

2.网络开发架构

• B/S架构 网页开发
  • browser 浏览器
  • server 服务端
• C/S架构 ftp
  • client 客户端
  • server 服务端
• 开发趋势：统一程序的入口
• 两者关系：B/S架构是特殊的C/S架构

3.网络访问

3.1网络地址

• ip 地址：确认一台机器
  • 公网ip
    • 这个ip地址能被所有人访问到，是申请得到的
  • 内网ip
    • 指定分配的，一般有
      • 192.168.0.0 - 192.168.255.255
      • 172.16.0.0 - 172.31.255.255
      • 10.0.0.0 - 10.255.255.255
  • 网关ip
    • 一个局域网的网络出口，访问局域网之外的区域都需要经过路由器和网关
• 网段：指的是一个地址段 x.x.x.0 x.x.0.0 x.0.0.0
• 子网掩码：判断两台机器是否在同一个网段内的
• port 端口
  • 0-65535
• ip + port 确认一台机器上的一个应用

3.2设备

• 网卡 ：是一个实际存在在计算机中的硬件
  • mac地址 ：每一块网卡上都有一个全球唯一的mac地址
• 交换机 ：是连接多台机器并帮助通讯的物理设备，只认识mac地址
  • 完成局域网内的多台机器之间的通信
  • 单播，组播，广播
• 路由器：完成局域网与局域网之间的联系
  • 能识别ip地址

4.协议

• 两台物理设备之间对于要发送的内容，长度，顺序的一些约定

4.1arp协议

• 由交换机实现的，是一个地址解析协议
• 通过ip地址获取一台机器的mac地址
• 通过广播，单播实现

4.2ip协议

• ipv4协议 4位的点分十进制 32位2进制表示
  • 0.0.0.0 - 255.255.255.255
• ipv6协议 6位的冒分十六进制 128位2进制表示
  • 0:0:0:0:0:0-FFFF:FFFF:FFFF:FFFF:FFFF:FFFF

4.3tcp/udp协议

4.3.1tcp协议

• 特点：面向连接的，可靠的，流式的，全双工通信，传递长度没有限制

• 三次握手

  • client端向server端：发送 请求连接 请求(syn)

  • server端向client端：通过接收到的 请求连接 请求(ack)

    ? 并且向client端发送 请求连接 请求(syn)

  • client端向server端：通过接收到的 请求连接 请求(ack)

• 四次挥手

  • client端向server端：发送 断开连接 请求(fin)
  • server端向client端：通过接收到的 断开连接 请求(ack)
  • server端向client端：向client端发送 断开连接 请求(fin)
  • client端向server端：通过接收到的 断开连接 请求(ack)

• 在建立连接后，每发送一条信息都会有回执

• 为了保证数据的完整性，会有重传机制

• 长连接：会一直占用双方的端口

• 应用场景：文件的上传和下载

• 拆包机制，传输是先拆包再合包进行传输的

  • 由于拆包机制会出现粘包现象

4.3.2udp协议

• 特点：面向数据报的，无连接的，不可靠的
• 能完成一对一，一对多，多对一，多对多的高效通讯协议
• 可能会丢消息
• 能够传递的数据的长度是有限的，跟数据传递设备的设置有关系
• 应用场景：即时通讯

4.4自定义协议

• 自定义协议1
  • 首先发送报头
    • 报头长度为4个字节
    • 内容是即将发送的报文的字节长度
    • 使用struct模块
  • 再发送报文
• 自定义协议2
  • 专门用来做文件发送的协议
    • 先发送报头字典的长度
    • 再发送字典(字典中包含文件的名字，大小····)
    • 再发送文件的内容

5.粘包现象

• 本质：接收信息的边界不清晰
• 在接收端的粘包
  • 由于tcp协议中所传输的数据无边界，接收端来不及接收的多条数据会在接收端的内核的缓存端黏在一起
• 在发送端的粘包
  • 由于两个数据的发送时间间隔短+数据的长度小，为了减少tcp协议中的“确认收到”的网络延迟时间，所以由tcp协议的优化机制将两条信息作为一条信息发送出去了
• 解决方法：使用自定义协议，核心借用struct模块

6.osi七层模型

6.1.七层模型

• 应用层
• 表示层
• 会话层
• 传输层
• 网络层
• 数据链路层
• 物理层

6.2osi五层协议

• 应用层 python代码
  • http https ftp smtp协议
    
• 传输层 端口/服务相关
  • tcp/udp协议 端口 四层交换机，四层路由器
• 网络层 ip相关
  • ipv4/ipv6协议 路由器，三层交换机
• 数据链路层 mac相关
  • arp协议 网卡，交换机
• 物理层

7. I/O操作

• 输入输出都是相对内存来讲的
  • input 输入到内存 recv recvfrom
  • output 从内存输出 send sendto

8.阻塞和非阻塞

• 阻塞：cpu不工作，如accept

• 非阻塞：cpu工作

• 几种模型
  • 阻塞io模型
  • 非阻塞io模型
  • 事件驱动io
  • io多路复用
  • 异步io模型

9.代码编写

9.1 socket模块

• 又称套接字

• 工作在应用层和传输层之间的抽象层，帮助我们完成所有信息的组织和拼接

• 对于程序员来说，已经是网络操作的底层

• socket历史

  • 同一台机器上的两个服务之间的通信
    • 基于文件操作来完成的
  • 基于网络的多台机器之间的多个服务通信

• 基本模板

  ######## server端 ########
  import socket
  
  sk = socket.socket()
  sk.bind(('127.0.0.1', 9000))
  sk.listen()
  conn, addr = sk.accept()
  # 中间为要进行的操作
  conn.close()
  sk.close()
  
  ######## client端 ########
  import socket
  
  sk = socket.socket()
  sk.connect(('127.0.0.1', 9000))
  # 中间为要进行的操作
  sk.close()

9.2 struct模块

• struct.pack 将一个数字转换为四个字节的bytes类型

  import struct
  
  bytes_len = struct.pack('i', 10000)
  # 将10000转为一个4个字节的bytes类型

• struct.unpack 将一个四个字节的bytes类型转换回数字，结果是一个元组

  import struct
  
  length = struct.unpack('i', bytes_len)
  # 将一个4个字节的bytes类型转回其原本的数字

9.3 hamc模块

• 校验客户端的合法性

• hamc.new(盐,要加密的内容)

  import hamc
  
  h = hmac.new(secret_key, randseq)
  res = h.digest()

9.4 socketserver模块

• 实现一个同时连接多个

• 基本模板

  import socketserver
  
  class Myserver(socketserver.BaseRequestHandler):
      def handle(self):  # 自动触发了handle方法，并且self.request == conn
          要进行的操作
  
  server = socketserver.ThreadingTCPServer(('127.0.0.1',9000),Myserver)
  server.serve_forever()