python的urllib3库(http连接池)

Posted 2023-03-05

参考技术A urllib3.disable_warnings() # 禁用各种urllib3的警告

1.retry:重试重定向次数,默认次数为3次,如果想要关闭重定向,但是不想关闭重试只需redirect=Flase,如果重定向重试都关闭,retries=False

2.timeout:超时,可以设置链接超时和读超时
timeout = urllib3.Timeout(connect=1,read=2)

3.numpools:池子的数量,假如有10个池子,当你访问第11个ip的时候第一个池子会被干掉,然后建一个
新的供第11个使用.一个池子是作用于同一个ip下的,即 http://aaa.com/a 和 http://aaa.com/b 是会共用一个池子的

4.maxsize:一个池子缓存的最大连接数量.没有超过最大链接数量的链接都会被保存下来.在block为false的情况下,
添加的额外的链接不会被保存一般多用于多线程之下,一般情况是设置为和线程数相等的数量, 保证每个线程都能访问一个链接.

5.还有一个参数 是 block ,默认为False,如果线程数量大于池子最大链接数量.这时设置block为true,则会阻塞线程,因为线程会等其他线程使用完链接,如果设置为False,则不会阻塞线程,但是会新开一个链接.有一个弊端是,使用完之后这个链接会关闭,所以如果 多线程经常建立链接会影响性能,多占用多余的资源