Python爬虫编程思想(24):在requests中使用代理和处理超时

Posted 蒙娜丽宁

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫编程思想(24):在requests中使用代理和处理超时相关的知识,希望对你有一定的参考价值。

目录

1.  使用代理

2.  超时


1.  使用代理

       使用代理的必要性在前文已经详细阐述了,requests使用代理发送请求非常容易,只需要指定proxies参数即可,该参数是一个字典类型的值,每一对key-value表示一个代理的协议,如http、https等。

        下面的例子设置了HTTP和HTTPS代理,并通过代理访问了天猫首页,最后输出响应内容。

import requests
proxies = {
    \'http\':\'http://144.123.68.152:25653\',
    \'https\':\'http://144.123.68.152:256

以上是关于Python爬虫编程思想(24):在requests中使用代理和处理超时的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫编程思想(23):使用requests验证ssl证书

Python爬虫编程思想(25):使用requests实现身份验证和请求打包

Python爬虫编程思想(22):使用requests网络库上传文件处理Cookie和Session

Python爬虫编程思想(21):使用requests网络库抓取二进制数据提交POST请求和处理响应数据

Python爬虫编程思想(36):项目实战-抓取斗破小说网的目录和全文

Python爬虫编程思想(92):项目实战:抓取京东图书评价