搭建免费代理池

Posted 2020-11-27 baohanblog

搭建免费代理池

https://github.com/jhao104/proxy_pool

# 收费的：提供给你一个接口，每调一次这个接口，获得一个代理
# 免费：用爬虫爬取，免费代理，放到我的库中，flask，django搭一个服务（删除代理，自动测试代理可用性），每次发一个请求，获取一个代理

# 带你配置

# 1 下载，解压，用pycharm打开
# 2 安装依赖 pip install -r requirements.txt
# 3 配置Config/setting.py:
    DB_TYPE = getenv(‘db_type‘, ‘redis‘).upper()
    DB_HOST = getenv(‘db_host‘, ‘127.0.0.1‘)
    DB_PORT = getenv(‘db_port‘, 6379)
    DB_PASSWORD = getenv(‘db_password‘, ‘‘)
# 4 本地启动redis-server

# 5 可以在cli目录下通过ProxyPool.py
    -python proxyPool.py schedule :调度程序，他会取自动爬取免费代理
    -python proxyPool.py webserver:启动api服务，把flask启动起来