爬虫代理squid

Posted 2020-10-13 大明湖畔的守望者

1 yum -y install squid

配置文件一般是在/etc/squid3/下的squid.conf文件

pyspider使用的时候只需要设置代理服务器为你配置好的服务器的ＩＰ就可以了

1 class Handler(BaseHandler):
2     crawl_config = {
3         ‘proxy‘: ‘127.0.0.1:6666‘
4     }