Python爬虫基础urllib2库的get与post方法

Posted 2020-10-11

urllib2默认只支持HTTP/HTTPS的GET和POST方法

一、Get方式

       GET请求一般用于我们向服务器获取数据，比如说，我们用百度搜索，在百度搜索框中搜索“秦时明月”，拿到地址栏里有效url为：https://www.baidu.com/s?wd=秦时明月

通过抓包得到其get的目标url为：https://www.baidu.com/s?wd=%E7%A7%A6%E6%97%B6%E6%98%8E%E6%9C%88

这两个url其实是一样的，wd后面出现的字符串是“秦时明月”的url编码，于是我们可以尝试用默认的Get方式来发送请求。

#负责url编码处理
import urllib      
import urllib2

url = "http://www.baidu.com/s"
word = {"wd":"秦时明月"}
#转换成url编码格式（字符串）
word = urllib.urlencode(word) 
# url首个分隔符就是 ?
newurl = url + "?" + word    

headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}

request = urllib2.Request(newurl, headers=headers)

response = urllib2.urlopen(request)

print response.read()

代码执行结果就相当于在百度搜索框输入“秦时明月”后回车，对于get请求，使用urllib的urlencode将查询字符进行url编码再拼接为完整url然后发送请求即可。

 

二、post请求

        Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对。

打开有道翻译http://fanyi.youdao.com/，输入测试数据（python），我们发现地址栏的url没有变化，使用抓包工具可以拿到其POST请求的目标地址：

由此我们可以试着模拟这个POST请求：

import urllib
import urllib2

# POST请求的目标URL
url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0"}

formdata = {
    "i":" python",
    "from":"AUTO",
　　 "to":"AUTO",
    "smartresult":" dict",
　　 "client":" fanyideskweb",
　　 "salt":" 15082966550971",
　　 "sign":" 2a6d78290492d163dbd6803b29e2489c",
    "doctype":"json",
    "version":"2.1",
    "keyfrom":"fanyi.web",
    "action":"FY_BY_ENTER",
    "typoResult":"true"
}

data = urllib.urlencode(formdata)

request = urllib2.Request(url, data = data, headers = headers)
response = urllib2.urlopen(request)
print response.read()

这就是一个简单的post请求的方式，可以根据此思路写一个有道翻译的接口程序。

 

三、获取AJAX加载的内容

         有些网页内容使用AJAX加载，直接发送请求拿不到数据，而AJAX一般返回的是JSON,可以直接对AJAX地址进行post或get，就返回JSON数据了。

以豆瓣电影排行榜为例，https://movie.douban.com/typerank?type_name=剧情&type=11&interval_id=100:90&action=，通过抓包获取传送json文件的url：

这样就拿到了url，其中start和limit两个参数是数据的加载发送，我们可以单独拿出来作为参数传进去：

import urllib
import urllib2

url = "https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action"

headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:47.0) Gecko/20100101 Firefox/47.0"} 

# 变动的是这两个参数，从start开始往后显示limit个数据 
formdata = { 
     ‘start‘:‘0‘, 
     ‘limit‘:‘10‘ 
} 

data = urllib.urlencode(formdata) 
request = urllib2.Request(url, data = data, headers = headers) 
response = urllib2.urlopen(request) 
print response.read()

对于这种动态页面，我们要关注数据的来源；也可以使用selenium和phantomJS模拟浏览器进行获取数据。

 

四、处理HTTPS请求的SSL认证

     urllib2可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如果SSL证书验证不通过，或者操作系统不信任服务器的安全证书，比如浏览器在访问12306网站如：https://www.12306.cn/mormhweb/的时候，会警告用户证书不受信任。

import urllib2

url = "https://www.12306.cn/mormhweb/"

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

request = urllib2.Request(url, headers = headers)

response = urllib2.urlopen(request)

print response.read()

运行程序会出现如下错误提示：

urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:661)>

所以，如果以后遇到这种网站，我们需要单独处理SSL证书，让程序忽略SSL证书验证错误，即可正常访问。

import urllib
import urllib2
# 导入Python SSL处理模块
import ssl

# 忽略未经核实的SSL证书认证
context = ssl._create_unverified_context()

url = "https://www.12306.cn/mormhweb/"

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

request = urllib2.Request(url, headers = headers)

# 在urlopen()方法里 指明添加 context 参数
response = urllib2.urlopen(request, context = context)

print response.read()

 

以上是关于Python爬虫基础urllib2库的get与post方法的主要内容，如果未能解决你的问题，请参考以下文章

python爬虫_urllib2库的基本使用

爬虫urllib2库的基本使用

爬虫之urllib2库的基本使用

5.Python爬虫入门三之Urllib2库的基本使用

python爬虫_urllib2:Get请求和Post请求

Python 爬虫篇 - 通过urllib.request伪装成浏览器绕过反爬虫爬取网页所有连接实例演示，urllib2库的安装