随机IP代理

Posted 2020-06-10

 

 

第一个例子就设置了一个代理IP，也是不靠谱的，最好的方式就是多设置几个，如第二个例子，通过http://www.youdaili.net/Daili/你可以找到很多代理IP，

抓取国内网站时尽量选取中国的IP（虽然这种免费IP代理很多，不过免费的东西靠不靠谱就说不好了，实际上以我的经验，我会初始设置100个左右，根据他们的访问效率测试抓取，再筛选几个靠谱的代理正式抓取），第二个例子中用到了随机数，每次抓取都是随机选取一个IP代理。