python爬虫的进阶用法

Posted 2021-03-02 你是我的神奇

应用场景：

01：

去爬虫微信公众号文章，已知requests的执行方式实际就是执行里面request方法，
我们进行重写request方法的init，加入我们需要的字段：

如　　callback --获取response执行回调函数     need_proxy --是否需要代理

　　　fail_time --执行get获取url的失败次数  　timeout = 10 

from requests import Request
TIMEOUT = 10
class WeixinRequest(Request):
    def __init__(self,url,callback,method=‘GET‘,headers=None,need_proxy=False,fail_time=0,timeout=TIMEOUT):
        Request.__init__(self,method,url,headers)
        self.callback =callback
        self.need_proxy = need_proxy
        self.fail_time = fail_time
        self.timeout = timeout