第7章 网络编程考察点

Posted 2020-11-15 xuzhaoping

网络协议TCP/UDP/HTTP 常考题

浏览器输入一个url中间经历的过程

• 中间涉及到了哪些过程

• 包含哪些网络协议

• 每个协议都干了什么？
  • DNS查询->TCP握手->HTTP请求->反向代理nginx->uwsgi/gunicom->web app响应->TCP挥手

TCP三次握手过程

TCP三次握手, 状态转换。用wireshark抓包更直观

TCP四次挥手过程

TCP四次挥手，状态装换

client state C S server state

TCP/UDP的区别

TCP vs UDP

• 面向连接，可靠的，基于字节流

• 无连接，不可靠，面向报文

总结

• 记忆内容多，间隔记忆，多次重复，检索学习，穿插练习

• 费曼学习技巧，用简单的语言去教别人，检验自己是否真正的懂

• 如果解释过程中遇到障碍，重新学习知识点(分治)

HTTP协议常考题

HTTP请求的组成

HTTP协议由哪些部分组成？

• 状态行

• 请求头

• 消息主体

HTTP响应的组成

HTTP协议由哪些部分组成？

• 状态行

• 响应头

• 响应正文

HTTP常见状态码

• 1**信息，服务器收到请求，需要请求者继续执行操作

• 2**成功，操作被成功接受并处理

• 3**重定向，需要进一步操作完成请求

• 4**客户端错误，请求有语法错误或者无法完成请求

• 5**服务端错误，服务器在处理请求的过程中发生错误

• 牢记常见状态码的含义(220, 301, 302, 400, 403, 500等)

HTTP GET/POST的区别？

? 常见的HTTP方法： GET/POST/PUT/DELETE

? GET 获取 POST 创建 PUT 更新 DELETE 删除

? Restful 语义上一个是获取，一个是创建

? GET是幂等的，POST非幂等

? GET请求参数放到url(明文)，长度限制，POST放到请求体，更安全

什么是幂等性

? 哪些HTTP 方法是幂等的

? 幂等方法是无论调用多少次都得到相同结果的HTTP方法

? eg： a=4是幂等的，但是 a += 4 是非幂等

? 幂等的方法客户端可以安全地重发请求

什么是HTTP长连接

是TCP的应用层

HTTP persistent connection， HTTP 1.1

? 短连接： 建立连接...数据传输...关闭连接(连接的建立和关闭开销大)

? 长连接： Connection： Keep-alive 保持TCP连接不断开

如何区分不同HTTP请求？

Content-Length | Transfer-Encoding： chunked

• 客户端告诉服务端发送的HTTP请求有多长？
  • Content-Length首部告诉浏览器报文中实体主体的大小

cookie和session的区别？

HTTP是无状态的，如何识别用户呢？

• Session 一般是服务器生成之后给客户端(通过url参数或cookie)

• Cookie 是实现session的一种机制，通过HTTP cookie字段实现

• Session通过在服务器保存sessionid识别用户，cookie存储在客户端

总结：

• 请求和响应的组成

• 常用HTTP方法和幂等性

• 长连接，session和cookie

网络编程常考题

socket编程对于学习框架原理比较重要

TCP/UDP socket编程，HTTP编程

• 了解TCP编程的原理

• 了解UDP编程的原理

• 了解如何发送HTTP请求

TCP socket编程原理？

• 如何使用socket模块

• 如何建立TCP socket 客户端和服务端

• 客户端和服务端之间的通信

# !< server.py
import socket
import time

s = socket.socket()
s.bind('', 8888)
s.listen()

while True:
    client, addr = s.accept()   #return conn, addr
    print(client)
    timestr = time.ctime(time.time()) + '
'
    client.send(timestr.encode())   #send 参数 encode
    client.close()

# !< client.py

import socket

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('127.0.0.1', 8888))
s.sendall(b'Hello World')
data = s.recv(1024)
print(data.decode())
s.close()

使用socket发送HTTP请求

如何使用socket发送HTTP请求

• 使用socket接口发送HTTP请求

• HTTP建立在TCP基础之上

• HTTP是基于文本的协议

import socket

s = socket.socket()
s.connect(('www.baidu.com', 80))

http = b"GET /HTTP/1.1
Host: www.baidu.com

"
s.sendall(http)
buf = s.recv(1024)
print(buf)
s.close()
#接受完整的响应

IO多路复用常考题

五种IO模型

Unix网络编程提到的5种网络模型

• Blocking IO

• Nonblocking IO

• IO multiplexing

• Signal Driven IO

• Asynchronous IO

两种不常用，一般使用IO多路复用比较多

如何提升服务器的并发能力呢？

• 多线程模型，创建新的线程处理请求
• 多进程模型，创建新的进程处理请求

• 线程/进程创建开销比较大，可以用线程池方式解决

• 线程和进程比较占用资源，难以同时创建太多

• IO多路复用，实现单进程同时处理多个socket请求

什么是IO多路复用？

操作系统提供的同时监听多个socket的机制

? 为了实现高并发需要一种机制并发处理多个socket

? linux常见的是select/poll/epoll

? 可以使用单线程单进程处理多个socket

while True:
    events = sel.select()
    for key, mask in events:
        callback = key.data
        callback(key.fileobj, mask)

py如何实现IO多路复用？

py封装操作系统的IO多路复用

• py的IO多路复用基于操作系统实现（select/poll/epoll）

• py2 select模块

• py3 selectors模块

selectors模块

? 事件类型： EVENT_READ, EVENT_WRITE

? DefaultSelector: 自动根据平台选取合适的IO模型

? register(fileobj, events, data = None)

? unregister(fileobj)

? modify(fileobj, events, data=None)

? select(timeout=None): returns[(key, events)]

? close()

py 并发网络库常考题

Tornado/Gevent

用过哪些并发网络库？

? Tornado vs Gevent vs Asyncio

? Tornado 并发网络库和同时也是一个web微框架

? Gevent 绿色线程(greenlet)实现并发， 猴子补丁修改内置socket

? Asyncio Python3 内置的并发网络库，基于原生协程

Tornado框架

? Tornado适用于微服务，实现Restful接口

? 底层基于linux多路复用

? 可以通过协程或者回调实现异步编程

? 相应的异步框架比如ORM不完善

import tornado.ioloop
import tornado.web

from tornado.httpclient import AsyncHTTPClient

class APIHandler(tornado.web.Requestandler):
    async def get(self):
        url = 'http://httpbin.org/get'
        http_client = AsyncHTTPClient()
        resp = http_client.fetch(url)
        print(resp.body)
        return resp.body

def make_app():
    return tornado.web_Application([
        (r"/api", APIHandler)
    ])

if __name__ == "__main__":
    app = make_app()
    app.listen(8888)
    tornado.ioloop.IOLoop.current().start()

Gevent

高性能的并发网络库

? 基于轻量级绿色线程(greenlet)实现并发

? 需要注意monkey patch， gevent修改了内置的socket改为非阻塞

? 配合gunicorn 和 gevent 部署作为wsgi server

import gevent.monkey
gevent.monkey.patch_all()   #修改内置的一些库非阻塞

import gevent
import requests

def fetch():
    url = 'http://httpbin.org/get'
    resp = request.get(url)
    print(len(resp.text), i)

def asynchronous():
    threads = []
    for i in range(1, 10):
        threads.append(gevent.spawn(fetch, i))
    gevent.joinall(threads)

print('Asynchronous: ')
asynchronous()

Asyncio

基于协程实现的内置并发网络库

py3 引入到内置库，协程 + 事件循环

基于Aiohttp 可以实现一些小的服务

基于aiohttp并发请求

import asyncio
from aiohttp import Client Session #pip install aiohttp

async def fetch(url, session):
    async with session.get(url) as response:
        return await response.read()

async def run(r=10):
    url = "http://httpbin.org/get"
    tasks = []

async with ClientSession() as Session:
    for i in range(r):
        task = asyncio.ensure_future(fetch(url, session))
        tasks.append(task)
    responses = await asyncio.gather(*tasks)
    for resp_body in responses:
        print(len(resp_body))

loop = asyncio.get_event_loop()
future = asyncio.ensure_future(run())
loop.run_until_complete(future)

编写一个异步爬虫类

使用py的gevent或者asyncio编写一个异步爬虫类

? 该类可以传入需要抓取的网址列表

? 该类可以通过继承的方式提供一个处理response的方法