实用爬虫-02-爬虫真正使用代理 ip

Posted 2021-01-05 xpwi

实用爬虫-02-爬虫真正使用代理 ip

• 因为这里呢，是实用爬虫，想要仔细学习一些基础的，可以去查看：
  • Python 爬虫教程：https://www.cnblogs.com/xpwi/category/1295282.html
• 获取代理 ip 的网站：
  • www.goubanjia.com
  • www.xicidaili.com
• 【注意事项】：
  • 1.如果测出来的 ip 是你本机的 ip，99% 的原因是：你找的代理 ip 不能用，更换其他 ip
  • 2.测 ip 的地址的地址可能会变，一般不会更新，万一是这个 url 失效，参照：实用爬虫-01-检测爬虫的 IP
• 代码 proxy.py 文件：https://xpwi.github.io/py/spider/proxy.py

# coding:utf-8
# 爬虫使用代理IP

from urllib import request,error

if __name__ == '__main__':

    # 0.设置测 ip 的地址
    url = "http://2018.ip138.com/ic.asp"
    # 1.设置代理 ip，获取方法参照：https://www.cnblogs.com/xpwi/p/9600727.html
    proxy = {'http':'189.201.142.129:57815'}
    # 2.创建ProxyHandler
    proxy_handler = request.ProxyHandler(proxy)
    # 3.创建Opener
    opener = request.build_opener(proxy_handler)
    # 4.安装Opener
    request.install_opener(opener)

    # 下面再进行访问url就会使用代理服务器
    try:
        rsp = request.urlopen(url)
        html = rsp.read().decode('GBK')
        print(html)

    except error.HTTPError as e:
        print(e)
    except Exception as e:
        print(e)

运行结果

• 什么墨西哥，我在天津

更多文章链接：实用爬虫

---

• 本笔记不允许任何个人和组织转载