Python 采集免费代理，并检测其是否可用

Posted 2023-01-29 梦想橡皮擦

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python 采集免费代理，并检测其是否可用相关的知识，希望对你有一定的参考价值。

本篇博客将采集互联网中公开代理 IP，并通过 IP 检测站点检测代理的可用性。
未来该内容将会被集成到爬虫训练场中。

💰学习目录💰

Python 采集免费代理 IP

模块准备与目标站点说明

本次案例实战用到的 Python 第三方模块是 requests 和 lxml，从技术难度的角度看属于入门级爬虫。

目标站点为：kuaidaili.com，其每日更新部分高匿名代理，可用于测试。

实战采集

先看一下目标页面代码采集的完整案例，然后再进行分析。

def get_proxy_list(i):
    url = f"https://www.kuaidaili.com/free/inha/i/"

    headers = 
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
    
    response = requests.request("GET", url, headers=headers)
    res = []
    elements = etree.HTML(response.text)
    type_dct = 
        "HTTP": "http://",
        "HTTPS": "https://"
    
    data_list = elements.xpath("//tbody/tr")
    for data in data_list:
        ip = data.xpath("./td[1]/text()")[0]
        port = data.xpath("./td[2]/text()")[0]
        type = data.xpath("./td[4]/text()")[0]
        res.append(type_dct[type] + ip + ':' + port)
    return res

get_proxy_list() 函数接收页码参数，将其拼接到 url 中，然后使用 requests.request() 方法构造请求，这里直接使用 requests.get() 也是可以的。

得到数据相应之后，直接采用 etree.HTML(response.text) 进行格式化操作，然后通过 xpath 将目标信息提取出来，存放到 res 列表中进行返回。

代理 IP 可用性检测

对接站点

检测代理 IP 是否可以，我们会使用到下述两个站点：

https://ipv4.icanhazip.com/
http://httpbin.org/ip

直接访问上述站点，都会得到如下内容，即展示你本地 IP 信息。

我们接下来通过 requests 模块设置代理 IP 访问上述站点，查看代理 I 怕是否可用。

def check(proxy):
    href = 'https://ipv4.icanhazip.com'
    # href = 'http://httpbin.org/ip'
    if 'https' in proxy:
        proxies = 'https': proxy
    else:
        proxies = 'http': proxy
    headers = 
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_2_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4396.0 Safari/537.36'
    
    try:
        r = requests.get(href, proxies=proxies, timeout=3, headers=headers)
        print(r.content)
        if r.status_code == 200:
            return True
    except:
        return False

上述代码最核心的是 requests.get()，其中 proxies 参数设置为代理，timeout 设置请求超时时间，最后修改 main 入口函数部分代码。

if __name__ == '__main__':
    for i in range(1, 5):

        proxy_list = get_proxy_list(i)

        print(proxy_list)
        for p in proxy_list:
            print(p, check(p))