爬虫

Posted 2020-12-14 quanag

报错自查

# 1、 HttpConnectionPool:
    # 原因：     1、短时间内发起了高频的请求导致IP被禁
    #           2、http连接池中的连接资源被耗尽
    # 解决：
    #     1、 使用代理服务器
    #     2、headers中加入 Connection: ‘close‘

# 2、代理：代理服务器，可以接受请求将其转发。
    # 匿名度：
        # 高匿名：啥也不知道
        # 匿名：知道你使用了代理，但是不知道你的真实IP
        # 透明：知道你使用了代理并且知道你的真实IP
    # 类型：
        # http
        # https
    # 免费代理：
        #  www.goubanjia.com
        # 快代理
        # 西祠代理
    # 收费：
        # http://http.zhiliandaili.cn/  代理精灵

    # cookie的处理

---------------------   end  --------------------------