Spider --Urllib3 使用简介

Posted gengyufei

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spider --Urllib3 使用简介相关的知识,希望对你有一定的参考价值。

1、前述

Urllib3在过去365天(2019)中,下载量达到了9.55亿次。Urllib3是一个功能强大的,用于http客户端的python库,相比于python标准库中的urllib库,Urllib3提供了更全面的特性,包括线程安全,客户端SSL/TLS验证等,不仅如此,Urllib3广泛的被其他库依赖,有接近1200个库依赖Urllib3库。Urllib3的使用也非常的简单,如下:

2、简单使用源码:

import urllib3

http = urllib3.PoolManager()    # 创建请求
res = http.request(‘‘GET‘‘, www.baidu.com)    # 获取Response对象

# 输出状态码
print(res.status)

# 输出返回的数据
print(res.data.decode(utf8))

技术图片

 

以上是关于Spider --Urllib3 使用简介的主要内容,如果未能解决你的问题,请参考以下文章

Web Spider Fiddler - JS Hook 基本使用

Python爬虫编程思想(17):使用urllib3发送HTTP Get和HTTP POST请求

Scrapy Spider没有返回所有元素

Spider实战系列-抓取《一人之下第三季》

Python爬虫初学-urllib3

Android 逆向类加载器 ClassLoader ( 类加载器源码简介 | BaseDexClassLoader | DexClassLoader | PathClassLoader )(代码片段