python3爬虫之Urllib库

Posted 2021-01-19 宋讼颂

 

在上一篇文章中，我们大概讲了一下urllib库中最重要的两个请求方法：urlopen()  和  Request()

但是仅仅凭借那两个方法无法执行一些更高级的请求，如Cookies处理，代理设置等等。

这是就是Handler大显神威的时候了，简单地说，他是各种处理器，有处理验证登录的，有处理Cookies的，有处理代理设置的。

高级用法

首先说一下urllib。request模块中的BaseHandler类，他是所有类的基类，它提供了最基本的方法，如：default_open()   protocol_request()等。

下边是各种子类：　

　　HTTPDefaultErrorHandler      用于处理HTTP响应错误
　　HTTPRedirectHandler            用于处理重定向
　　HTTPCookieProcessor          用于处理Cookies

　　ProxyHandler                         用于设置代理，默认代理为空

　　HTTPPasswordMgr               用于管理密码
　　HTTPBasicAuthHandler        用于认证管理

还有一个类非常重要，他就是 OpenerDirector   我们称为Opener

为什么说这个类呢？之前使用的Request和urlopen()都是封装好的请求方法，利用它们可以完成请求，但是现在我们要实现高级功能，就需要进行深一层的配置，所以就用到了Opener

下面我们看看例子：

　代理设置：

在使用爬虫难免需要使用到代理，添加代理：

说一下代码：

　　这个代理是我从西刺代理上找到的，使用了 ProxyHandler类，他的参数是一个字典，key是协议名，value是代理链接。

　　然后再利用Handler及build_opener()方法构造一个opener，然后使用open()方法发送请求即可。

　　Cookies

首先我们获取网站的Cookies：

　　

　　这样输出类每一条Cookie的名称和值

 

　　当然，也可以保存Cookie至文件：（因为Cookie实际上也是以文件形式保存的）

　　但是代码要稍做调整，将CookieJar改为 MozillaCookieJar(filename)  它在生成文件时会用到，是CookieJar的子类

　　

　　这是cookie内容：

　　

　　

　　但是也可以使用   http.cookiejar.LWPCookieJar(filename) 来保存数据，但是格式会和MozillaCookieJar(filename)不大一样：

　　

　　

　　当然，你也可以再网页界面点击F12，手动获取Cookies

　　刚刚获取了Cookies，现在我们来在请求时获取本地文件Cookies

　　如从本地LWPCookieJar()类型的文本中获取Cookies：

　　

　

异常处理

　　前面我们讲了发起请求，但是当程序报错是怎么办?脚本就会宕掉，这不是我们想要的，所以就有了异常处理

　　（1）URLError  因页面不存在而报错的异常：

　　　　

 　　（2）HTTPError   是URLError的子类，专门处理HTTP请求错误，如认证失败等。

　　　　　有三个属性：

　　　　　　code：  返回HTTP状态码，如200请求成功， 404网页不存在， 500服务器内部错误等。

　　　　　　reason:　同父类一样，用于返回错误原因

　　　　　　headers:　返回请求头

　　　·　

 

解析链接

urllib库中还有parse模块，用于对url各部分的抽取、合并及连接转换。

　　（1）urlparse()

　　　　这个方法可以识别和分段URL

　　　　

　　　　可以看见，返回的是一个ParseResult类型对象包含六部分。

　　　　由此可见，一个完整的URL由6部分组成： ://  之前是scheme， 代表协议； 第一个/符号前是netloc， 代表域名； 后边是path， 即访问路径； 分号；后边是parms， 代表参数； 问号？后边是query， 代表查询条件； 井号#后边是锚点，用于直接定位页面内部的下拉位置。

　　　　所以一个标准的链接格式：　　scheme://netloc/path;params?query#fragment

　　　　利用urlparse()方法可将其拆开

　　　　urlparse方法API：

　　　　　　urllib.parse.urlparse(urlstring, scheme="", allow_fragments=True)

　　　　　　urlstring:　　必填项，是需要操作的url

　　　　　　scheme；　　默认协议，如果url中没有协议，就使用默认协议。

　　　　　　allow_fragments：是否忽略 fragments  如果被设置为False，fragments就会被忽略，它会被解析为前边的一部分。

　　（2）urlunparse()

　　　　　　用于组成url，接收一个可迭代对象，但它的长度必须为6

　　　　　　

　　（3）urlsplit()

　　　　　　这个方法和urlsplit()相似，只是不单独解析params部分，只返回5个结果。

　　　　　　

　　（4）urlunsplit()

　　　　　　这个和urlunparse相似，可以接收列表、元祖等长度为5的参数，组成url

　　　　　　

　　（5）urljoin()

　　　　　　用于拼接链接　　首先有一个base_url参数作为基础链接， 将新链接作为第二个参数传入，这个方法会分析base_url的scheme， netloc， path这三个内容对新链接进行补充（注意是将对第二个链接没有的参数进行补充，有的话并不会进行替换），最终返回结果

　　　　　　

　　（6）urlencode()

　　　　这个方法在构造GET请求时非常有用

 　　　　

　　（7）parse_qs()

　　　　有序列化，就会有反序列化，这个方法可以将get参数反序列化为字典：

　　　　

　　*（8）parse_qsl()方法，用于将参数转化为元组形式的列表， 返回结果每个元组中，第一个参数为参数名，第二个参数为参数值。

　　　　

　　（9）quote()

　　　　该方法可以将内容转化为URL编码的格式。 但当url中有中文时有可能会乱码。

　　　　

　　　　

　　　（10）u你quote()  可以将URL进行解码

 　　　　

至此，urllib库基本就已经说完了，如有疑问或建议请评论留言进行补充。不甚感激