5分钟,自己做一个 IP 代理隧道

Posted 程序员启航

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了5分钟,自己做一个 IP 代理隧道相关的知识,希望对你有一定的参考价值。

什么是隧道代理?我们来看下面这张截图:

所谓隧道代理,就是一个能帮你自动更换代理 IP 的代理服务。

在你的代码里面,你只需要把一个入口代理地址写死,然后正常发起请求,而目标服务器接收到的请求,每一次都是不同的代理地址。

在某代理网站上,隧道代理50并发每秒的价格是4000元/月:

而常规的,先请求接口拿到一批代理 IP,再选一个发起请求的原始代理服务器,一个月价格才600多元:

所以,如果我们能自己做一个隧道代理,将会省下很多钱!

隧道代理的原理,跟常规代理的不同之处,用下面这两张图就能说清楚:

传统代理服务

隧道代理

要自己开发一个这样的隧道代理,我们需要做两步:

  1. 构建一个代理池

  2. 实现代理自动转发

构建代理池

假设你从代理供应商手上买到的便宜代理地址为:http://xxx.com/ips,直接在浏览器上面请求,页面效果如下图所示:

现在,你需要做的就是写一个程序,周期性访问这个url,拉取当前最新可用的IP地址,然后把它放到Redis中。

这里,我们使用Redis的Hash这个数据结构,其中Hash的字段名就是IP:端口,里面的值就是跟每个IP相关的一些信息。

你这个程序需要确保,当前在Redis里面的代理地址,全部都是可用的。这里,我给出了一个示例程序:

"""
ProxyManager.py
~~~~~~~~~~~~~~~~~~~~~
简易代理池管理工具,直接从URL中读取所有
最新的代理,并写入Redis。
"""
import yaml
import time
import json
import redis
import datetime
import requests


class ProxyManager:
    def __init__(self):
        self.config = self.read_config()
        self.redis_config = self.config['redis']
        self.client = redis.Redis(host=self.redis_config['host'],
                                  password=self.redis_config['password'],
                                  port=self.redis_config['port'])
        self.instance_dict = {}

    def read_config(self):
        with open('config.yaml') as f:
            config = yaml.safe_load(f.read())
            return config

    def read_ip(self):
        resp = requests.get(self.config['proxy']).text
        if '{' in resp:
            return []
        proxy_list = resp.split()
        return proxy_list

    def delete_ip(self, live_ips, pool_ips):
        ip_to_removed = set(pool_ips) - set(live_ips)
        if ip_to_removed:
            print('ip to be removed:', ip_to_removed)
            self.client.hdel(self.redis_config['key'], *list(ip_to_removed))

    def add_new_ips(self, live_ips, pool_ips):
        ip_to_add = set(live_ips) - set(pool_ips)
        if ip_to_add:
            print('ip to add:', ip_to_add)
            ips = {}
            for ip in ip_to_add:
                ips[ip] = json.dumps({'private_ip': ip,
                                      'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')})
            self.client.hset(self.redis_config['key'], mapping=ips)

    def run(self):
        while True:
            live_ips = self.read_ip()
            pool_ips = [x.decode() for x in self.client.hgetall(self.redis_config['key'])]
            self.delete_ip(live_ips, pool_ips)
            self.add_new_ips(live_ips, pool_ips)
            time.sleep(40)


if __name__ == '__main__':
    manager = ProxyManager()
    manager.run()

其中,我把Redis相关的配置、代理供应商的URL写到了一个yaml配置文件中,防止被你们看到。配置文件的格式如下图所示:

由于我这个代理供应商提供的IP,有效期是1-5分钟,所以保险起见,我每40秒更换一次IP。更换的时候,采用了增量更换的方式。

把当前拉取的IP和Redis里面的已有IP进行对比。不在这次拉取的IP全部从Redis移除,然后把新增的IP加到Redis中。

大家在实际过程中,还可以加一些代理校验的逻辑,确保从URL拉下来的代理也进行有效性检查,发现无效的立刻移除。

实现自动转发

要实现自动转发,我们可以使用OpenResty[1]。这是一个基于nginx和Lua实现的高性能Web平台。通过它,我们可以使用Lua语言实现一些逻辑,例如从Redis读取数据,把来源请求转发到上游代理服务器……

因此,我们使用OpenResty搭建一个转发服务。并把这个转发服务所在服务器的IP地址作为我们的入口IP地址。

在使用Requests等等网络请求客户端发送请求的时候,只需要把这个入口IP地址设置为代理。那么,当客户端发送请求的时候,请求首先到了OpenResty。

然后它从Redis中随机选一个代理IP来作为上游代理,并把刚刚发来的请求转发到上游代理。从而实现隧道代理的效果。

Lua是一门非常老的语言,它的语法不少地方跟Python不太一样。不过你不用担心,这个配置文件我已经写好了。大家拿过来改一改就能用。

对应的配置文件如下图所示:

worker_processes  16;        #nginx worker 数量
error_log /usr/local/openresty/nginx/logs/error.log;   #指定错误日志文件路径
events {
    worker_connections 1024;
}


stream {
    ## TCP 代理日志格式定义
    log_format tcp_proxy '$remote_addr [$time_local] '
                         '$protocol $status $bytes_sent $bytes_received '
                         '$session_time "$upstream_addr" '
                         '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
    ## TCP 代理日志配置
    access_log /usr/local/openresty/nginx/logs/access.log tcp_proxy;
    open_log_file_cache off;

    ## TCP 代理配置
    upstream backend{
        server 127.0.0.2:1101;# 爱写啥写啥  反正下面的代码也给你改了
        balancer_by_lua_block {
            -- 初始化balancer
            local balancer = require "ngx.balancer"
            local host = ""
            local port = 0
            host = ngx.ctx.proxy_host
            port = ngx.ctx.proxy_port
            -- 设置 balancer
            local ok, err = balancer.set_current_peer(host, port)
            if not ok then
                ngx.log(ngx.ERR, "failed to set the peer: ", err)
            end
        }
    }


    server {
        preread_by_lua_block{

            local redis = require("resty.redis")
            --创建实例
            local redis_instance = redis:new()
            --设置超时(毫秒)
            redis_instance:set_timeout(3000)
            --建立连接,请在这里配置Redis 的 IP 地址、端口号、密码和用到的 Key
            local rhost = "123.45.67.89"
            local rport = 6739
            local rpass = "abcdefg"
            local rkey = "proxy:pool"
            local ok, err = redis_instance:connect(rhost, rport)
            ngx.log(ngx.ERR, "1111111 ", ok, " ", err)

            -- 如果没有密码,移除下面这一行
            local res, err = redis_instance:auth(rpass)
            local res, err = redis_instance:hkeys(rkey)
            if not res then
                ngx.log(ngx.ERR,"res num error : ", err)
                return redis_instance:close()
            end
            math.randomseed(tostring(ngx.now()):reverse():sub(1, 6))
            local proxy = res[math.random(#res)]
            local colon_index = string.find(proxy, ":")
            local proxy_ip = string.sub(proxy, 1, colon_index - 1)
            local proxy_port = string.sub(proxy, colon_index + 1)
            ngx.log(ngx.ERR,"redis data = ", proxy_ip, ":", proxy_port);
            ngx.ctx.proxy_host = proxy_ip
            ngx.ctx.proxy_port = proxy_port
            redis_instance:close()
        }
        #  下面是本机的端口,也就是爬虫固定写死的端口
       listen 0.0.0.0:9976; #监听本机地址和端口,当使用keeplived的情况下使用keeplived VIP
       proxy_connect_timeout 3s;
       proxy_timeout 10s;
       proxy_pass backend; #这里填写对端的地址
    }
}

需要修改的地方,我在配置文件里面已经做好的注释。具体而言,需要修改地方包含:

  • Redis的地址、端口、密码和 Key。如果你的Redis没有密码,可以把设置密码的这一行删掉

  • 入口代理的端口

设置好了这些配置以后,我们就可以使用Docker来启动它。Docker的配置文件极其简单:

from openresty/openresty:centos

copy nginx_redis.conf /usr/local/openresty/nginx/conf/nginx.conf

然后,执行命令构建和运行:

docker build --network host -t tunnel_proxy:0.01 .
docker run --name tunnel_proxy --network host -it tunnel_proxy:0.01

运行以后,你会看到Docker的命令行似乎卡住了。这是正常请求。因为需要你有了请求,它才会输出内容。

现在,你可以用Requests赶快写一段代码来进行验证:

import requests
import time

proxies = {'http': 'http://13.88.220.207:9976'}
for _ in range(10):
    resp = requests.get('http://httpbin.org/ip', proxies=proxies).text
    print(resp)
    time.sleep(1)

运行效果如下图所示。

说明隧道代理搭建成功。目前隧道代理我已经稳定运行了半年,从来没有出过问题,大家可以放心使用。

说实在的,每次在后台看到一些读者的回应都觉得很欣慰,我想把我收藏的一些编程干货贡献给大家,回馈每一个读者,希望能帮到你们。

干货主要有:

① 2000多本Python电子书(主流和经典的书籍应该都有了)

② Python标准库资料(最全中文版)

③ 项目源码(四五十个有趣且经典的练手项目及源码)

④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)

⑤    Python所有知识点汇总(可以弄清楚Python的所有方向和技术)

如果你用得到的话可以直接拿走,在我的QQ技术交流群里,可以自助拿走,群号是781344551。

以上是关于5分钟,自己做一个 IP 代理隧道的主要内容,如果未能解决你的问题,请参考以下文章

scrapy按顺序启动多个爬虫代码片段(python3)

隧道代理阿布云

亿牛云爬虫隧道动态转发,爬虫代理首选!

用于 nginx 上游的 socks5 代理/隧道?

与HTTP协作的Web服务器——代理网关隧道

使用 SSH 隧道实现端口转发SOCKS 代理