python网络爬虫从入门到实战开发

Posted 2020-12-13 疏桐

1、简单的抓取网页

from urllib import request
req=request.Request("http://www.baidu.com")
response=request.urlopen(req)
html=response.read()
html=html.decode("utf-8")
print(html)

2、这里补充点Post和Get提交数据的差别

       如果使用POST提交表单数据，将会在地址栏中看到类似“http://www.victim.com/process_input.php, 而如果使用GET提交表单数据，那么地址栏看到的内容是”http://victim.com/process_input.php?foo=input&bar=input",   URL最长2048个字节，所以说GET方法传递的参数是有限制的，POST提交的则没有限制，除了POST和GET方法之外，WEB机制中还使用cookie，服务端连接使用cookie来存储、检索客户端连接的信息，