Python爬虫6-利用ProxyHandler设置代理服务器

Posted 2021-02-13 千里的博客

GitHub代码练习地址：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac09_ProxyHandler.py

ProxyHandler处理（代理服务器）
    
使用代理IP，是爬虫的常用手段
提供代理服务器的地址有很多，例如：
        www.xicidaili.com
        www.goubanjia.com
代理用来隐藏在真实访问中，即使是代理也不允许频繁访问某一个固定网站，所以，代理一定要很多很多
    
基本使用步骤：
        1. 设置代理地址
        2. 创建ProxyHandler
        3. 创建Opener
        4. 安装Opener