python__标准库 : urllib2

Posted 2020-12-30 cccy

urllib,urllib2

urllib库主要用 urlencode()把字典转换成url的get参数或者post参数 或者用 quote() 进行编码unquote进行解码

用urllib2.ProxyHandler(proxy_list)创建代理处理器,urllib2.HTTPHandler创建正常处理器
(proxy_list = {"http":"x.x.x.x:80"} 代理是这种格式)

opener = urllib2.build_opener(handler)这样创建opener

request = urllib2.Request(url,data,headers)用这个创建访问请求

opener.open(request)发送请求(或者urllib2.install_opener(opener)这样之后,全局的urlopen就都
可以用自定义的opener发送请求了,直接用urlopen就可以了)

使用cookielib.CookieJar() 来存储cookie,使用urllib2.HTTPCookieProcessor(CookieJar) 来构建带cookie的handler

-----------------------------------------------------------------------------------------------------------

用 requests.Session() 来创建一个session对象,用它get或者post可以保存cookie.

lxml:把html转换成html dom模型 :

from lxml import etree

response = request.get().text()

dom = etree(response)

dom.xpath() 这样就可以用xpath去提取数据,返回列表.