python代理可用检测代理类型检测

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python代理可用检测代理类型检测相关的知识,希望对你有一定的参考价值。

#coding:utf-8
import urllib2

def url_user_agent(proxy,url):
    proxy_support = urllib2.ProxyHandler({‘http‘:proxy})
    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener(opener)
    i_headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48‘}
    req = urllib2.Request(url,headers=i_headers)
    html = urllib2.urlopen(req,timeout=2)
    if url == html.geturl():
        doc = html.read()
        return doc
    return

for x in ["IP:port","IP:port"]
    print x
    try:
        url = ‘http://httpbin.org/get?show_env=1‘
        doc = url_user_agent(x ,url)
        print doc
        print ‘---‘
    except Exception, e:
        print e

  

以上是关于python代理可用检测代理类型检测的主要内容,如果未能解决你的问题,请参考以下文章

Python_01_IP代理池_实现代理池的检测模块

关于py的mysql检测代理是否可用的小案例

python使用redis实现ip代理池

如何使用Python实现爬虫代理IP池

打开proxifier,出现 :“(自动 DNS 模式检测) 本地 DNS 服务可用。通过代理服务器的名称解析已禁用。 ”

python 爬虫proxy,BeautifulSoup+requests+mysql 爬取样例