网络编程与并发编程总结
Posted ghylpb
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了网络编程与并发编程总结相关的知识，希望对你有一定的参考价值。
软件开发架构：
C/S架构：
Client：客户端
Server：服务端
优点：占用网络资源少，软件的使用更加稳定。
缺点：服务端更新后，客户端也得跟着更新，访问多个服务端需要下载对应的软件，占用客户端计算机的硬件资源大。
B/S架构：
Browser：浏览器
Server：服务端
服务端：24小时不间断提供服务
客户端：访问不同的服务端只需要在浏览器输入不同的网址，占用客户端的硬件资源少，但是占用网络资源大，网速比较慢时会不稳定。
一、网络编程：
1.互联网协议OSI七层协议
应用层
表示层
会话层
传输层
网络层
数据链路层
物理连接层
记忆：应表会传网数物
-物理连接层
基于电信号发送二进制数据
-数据链路层
1）规定好电信号的分组方式
2）必须要有一块网卡：
-mac地址：
12位唯一的16进制字符串：前六位为厂商号，后六位为流水号
-以太网协议：
在同一个局域网内通信：
? 单播：1对1吼
? 广播：多对多吼（会出现广播风暴）
? 不能跨局域网通信。
-网络层
ip:定位局域网的位置
port：唯一标识一台计算机上一个应用程序。
arp协议：将mac地址获取并解析成ip和port。
-传输层
TCP，特点：TCP协议称为流式协议，若想要通信，必须建立连接
#### 1.1 TCP协议的三次握手：客户端往服务端发送建立连接请求，服务端回复收到请求同时发送服务端与客户端建立连接的请求，客户端回复收到建立连接的请求，双向通道建立完成。
#### 12. TCP协议的四次挥手：服务端向客户端发送断开连接请求，客户端回复收到请求，然后检测自己是否有数据在给客户端发送，如果没有则向客户端发送断开连接请求，客户端回复同意断开连接信息，客户端与服务端断开连接。
双向通道反馈机制：客户端向服务端发送获取数据请求，客户端发送确认收到的消息，如果服务端没有返回消息，客户端则会继续隔段时间发送一次请求，如果时间过长仍没有收到回复则停止发送请求。
1.2 UDP协议
特点：
- 数据不安全
- 不需要建立双向通道
- 客户端发送数据给服务端不需要收到服务端的确认消息
- 传输速度快
- 不会有粘包问题
TCP与UDP的区别：
TCP：如同是在打电话
UDP：如同是在发短信
应用层
ftp
http
http+ssl
2.socket
socket用来写套接字客户端与服务端，内部帮我们封装好了7层协议需要做的事情。
3.手撸socket套接字模板
3.1 服务端
import socket
server = socket.socket()
server.bind((‘127.0.0.1‘,6666))括号内是ip和端口号，且是元组的形式
server.listen(6)半连接池
conn,addr = server.accept()
data = conn.recv(1024)接收数据的二进制位长度
conn.send(‘发送的消息‘.decode(‘utf-8‘))
3.2 客户端
import socket
client = socket.socket()
client.connect((‘ip‘,port))
client.send()
client.recv(1024)
4.subprocess(了解)
功能：通过代码往cmd创建一个管道，并且发送命令和接收cmd返回的结果。
用法：
import subprocess
obj = subprocess.Ponpen(‘cmd命令‘，shell=True，stdout=subprocess.PIPE,stderr=subprocess.PIPE)
success = obj.stdout
error = obj.stderr.read()
msg = success + error
5.粘包问题
1）不能确定对方发送数据的大小
2）在短时间内，间隔时间短，并且数据量小的情况下，默认将这些数据打包成一个，多次发送的数据一次性发送。
6.struct解决粘包问题
初级版：
将一个数据的长度打包成一个固定长度的报头，struck.pack(‘i‘,len(data))
对方获取数据时用
data = struct.unpack(‘i‘,headers)[0]
注意：以什么方式打包必须以什么方式解包
升级版：
先将数据存放到字典中，将字典打包发送过去：好处，真实数据长度，文件的描述信息，发送的数据更小。
dic = {
‘data_len‘:10000,
文件的描述信息
}
7.上传大文件数据
客户端
dic = {
文件大小
文件名
}
with open（文件名，‘rb‘）as f:
for line in f:
client.send(line)
服务端
dic = {
文件大小
文件名
}
init_recv = 0
with open(文件名，’wb‘) as f:
while init_recv<文件大小：
data = conn.recv(1024)
f.write(dara)
init_recv += len(data)
8.socketserver(现阶段，了解)
可支持并发
import socketserver
定义类
TCP：必须继承BaseRequestHandler类
class MyTcpServer(socketserver.BaseRequestHandler)
-handle
内部实现了server = socket.socket()
server.bind((‘127.0.0.1‘,6666))
server.listen(5)
while True:
conn,addr = server.accept()
print(addr)
必须重写父类的handle。当客户端连接时会调用该方法
def handle(self):
print(self.client_address)
while True:
? request.recv(1024)
? self.request.send()
TCP:
SOCK_STREAM
conn.recv
UDP:
SOCK_DGRAM
server.refrom()
8.1 UDP套接字模板：
服务端：
import socket
server= socket.socket(type=socket_SOCK_DGRAM)
server.bind((ip,port))
data,addr = server.refrom(1024)
客户端
import socket
client = socket.socket(type=socket.SOCK_DGRAM)
ip_port = (ip,port)
client.sendto(data,ip_port)
data,_ = client.refrom(1024)
print(data)
二、并发编程
多道技术
多道：切换+保存状态
-空间上的复用：支持多个程序使用
-时间上的复用：遇到IO操作就会切换程序，程序占用CPU时间过长也会被切换。
1.并发与并行：
并发：看起来像同时运行：多道技术
并行：真正意义上的同时运行：多核下
进程：
进程是资源单位，每创建一个进程都会生成一个名称空间，占用内存资源。
程序就是一堆代码
进程就是一堆代码运行的过程
2.进程调度：
时间片轮转法：
10个进程，将固定时间等分成10等份，分配给每个进程
分级别反馈队列
时间短的，执行权限最高放在一级队列，时间长一点的放下面
1级别：
2级别：
3级别：
3.进程的三个状态：
就绪态：创建多个进程，排队准备运行
运行态：进程开始运行，结束、阻塞
阻塞态：遇到IO操作进入，阻塞态之后进入就绪态
占用CPU时间过长会进入就绪态
4.同步与异步：
同步异步是提交任务的方式，同步指同步提交，是串行的，一个任务结束另一个任务才能提交执行；异步指异步提交，多个任务可以并发运行
5.阻塞与非阻塞
阻塞：阻塞态
非阻塞：就绪态、运行态
同步和异步，阻塞和非阻塞是不同的概念不能混为一谈。 等待不一定是阻塞，有可能某个任务占用CPU的时间过长， 所以他们不是同一个概念。
最大化提高CPU的使用率：尽可能减少不必要的IO操作
### 6.创建进程的两种方式
1. p = Process()
p.start()向操作系统提交创建进程的任务
p.join()
p.daemon = True 必须放在start（）前面，否则报错
2. class MyProcess(Process):
def run(self):
? 任务的过程
? p = MyProcess()
? p.daemon = True 必须放在start()前，否则报错
? p.start()
? p.join()
7.回收进程的两种条件：
? 1.调用join让子进程结束后子进程结束
? 2.主进程正常结束
### 8.僵尸进程与孤儿进程
僵尸进程：凡是子进程结束后pid号还存在的进程
父进程已经结束
孤儿进程：主进程已经结束，子进程还在运行
守护进程：只要主进程结束，所有添加守护进程的子进程都必须结束
9.互斥锁：
保证数据安全
from multiprocessing import Lock
mutex = Lock()
mutex = acquire()
mutex = release()
10.队列
from multiprocessing import Queue
q = Queue(5)
q.put()
q.put_nowait()
q.get()
q.get_nowait()
堆栈：LIFO
10.1 IPC进程间通信
? 进程间的数据是隔离的
? 队列可以让进程间通信
? 把一个程序放入队列中，另一个程序从队列中获取，实现进程间的数据交互。
10.2 生产者与消费者模型
生产者：生产数据
消费者：使用数据
为了保证平衡：通过队列实现
生产者将数据扔进队列中，消费者从数据中去数据
11.线程
11.1 什么是线程
? 进程是资源单位
? 线程是执行单位
? 创建进程时会自带一个线程（主线程）
11.2进程与线程的优缺点
? 进程：
? 优点：多核下计算密集型程序
? 缺点：开销资源高于线程
? 线程；优点：占用资源小
? IO密集下，提高效率
? 缺点：无法使用多核优势
线程间数据是共享的
12.全局解释器锁
在CPython中，全局解释器锁（即GIL）是一个互斥锁，可以防止一个进程中的多个线程同时（并行）执行。 锁定是必要的，主要是因为CPython的内存管理不是线程安全的。GIL的存在就是为了保证线程安全。
### 13.死锁现象
所谓死锁：是指两个或两个以上的进程或线程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程称为死锁进程
14.递归锁
解决死锁现象
mutex1,mutex2 = RLock()
只有这把锁的计数为零才会被下一个人使用
15.信号量
? 也是一把锁，可以让多个人，多个用户一起使用
? sm = Semaphore(5)
16.线程队列：保证线程间数据的安全
import queue
FIFO：先进先出队列
queue.Queue()
? LIFO:后进先出队列
? queue.LifoQueue()
? 优先级队列
? queue.PriorityQueue()
17.event事件
可以控制线程的执行，让一些线程控制另一些线程的执行
线程池与进程池
为了控制进程、线程的创建的数量，保证了硬件能正常运行。
from concurrent.futures import ProcessPoolExecutor,TreadPoolExecutor
pool1 = ProssPoolExecutor()默认是CPU的个数
pool2 = ThreadPoolExecutor()默认是CPU个数*5
18.回调函数
pool.submit(函数名，参数).add_done_callback(回调函数名)
注意：回调函数必须接收一个参数，且这个参数是第一个函数的返回值。
res1 = res.result() 获取返回值。
19.协程
协程：单线程下实现并发，不是任何的单位，是程序员YY出来的名字。
协程的优点：节省内存资源，进一步提高CPU的利用率（只有在IO密集型程序中才有优点）
高并发：多进程+多线程+协程
19.1 协程的手动创建：
手动实现切换+保存状态：
yield+next：yield对程序的暂停不会被操作系统识别为IO操作
19.2 使用gevent实现单线程下的并发
from gevent import monkey
monkey,patch_all()监听是否有IO操作
from gevent import spawn,joinall 实现切换+保存状态
s1 = spawn(任务1)
s2 = spawn(任务2)监听是否有IO操作
joinall([s1,s2])等待所有的程序执行完毕结束，执行下面的程序。
20.IO模型（了解）
阻塞IO
非阻塞IO
多路复用IO
异步IO
以上是关于网络编程与并发编程总结的主要内容，如果未能解决你的问题，请参考以下文章