WEB - 定时获取代理池(简单方法)

Posted Rocinante

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了WEB - 定时获取代理池(简单方法)相关的知识,希望对你有一定的参考价值。

import requests
import time
from read_ip_pool import read_ip_pool

PROXIES_URL = ‘‘


def get_ip_pool(url=PROXIES_URL):
    """ 根据URL构造代理池

    :param PROXIES_URL:
    :return: []
    """
    response = requests.get(url)
    with open(‘IP_POOL‘, ‘w‘) as f:
        f.write(response.text)
    print(‘get_ip_pool is done‘)

# Unix, 后台运行脚本: <script_name> &
while True:
    get_ip_pool()
    read_ip_pool()
    # time+死循环, 实现定时功能。
    time.sleep(10)
    print("")

以上是关于WEB - 定时获取代理池(简单方法)的主要内容,如果未能解决你的问题,请参考以下文章

使用redis+flask维护动态代理池

python使用redis实现ip代理池

代理池的维护

静态Web服务器-命令行启动动态绑定端口号Python解释器详解实现代理池的API模块

python 爬虫 ip池怎么做

用Flask+Redis维护代理池