搭建免费代理池

Posted yafeng666

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了搭建免费代理池相关的知识,希望对你有一定的参考价值。

搭一个免费的代理池

# https://github.com/jhao104/proxy_pool
# 收费的:提供给你一个接口,每掉一次这个接口,获得一个代理
# 免费:用爬虫爬取,免费代理,放到我的库中,flask,django搭一个服务(删除代理,自动测试代理可用性),每次发一个请求,获取一个代理

# 配置

# 1 下载,解压,用pycharm打开
# 2 安装依赖 pip install -r requirements.txt
# 3 配置Config/setting.py:
	DB_TYPE = getenv(‘db_type‘, ‘redis‘).upper()
	DB_HOST = getenv(‘db_host‘, ‘127.0.0.1‘)
	DB_PORT = getenv(‘db_port‘, 6379)
	DB_PASSWORD = getenv(‘db_password‘, ‘Admin123‘)  # 填你自己的redis密码,没有就不填
# 4 本地启动redis-server --service-start

# 5 可以在cli目录下通过ProxyPool.py
	-python proxyPool.py schedule :调度程序,他会取自动爬取免费代理
  -python proxyPool.py webserver:启动api服务,把flask启动起来

以上是关于搭建免费代理池的主要内容,如果未能解决你的问题,请参考以下文章

搭建免费代理IP池

Python3爬虫教你怎么利用免费代理搭建代理池

python 爬虫 ip池怎么做

搭建ip代理池思想

[爬虫]一个易用的IP代理池

Python爬虫代理池