python爬虫基础

Posted 2020-09-11

#! usr/bin/env python
# -*- coding: utf-8 -*-

‘‘‘
 post
‘‘‘

import urllib
import urllib2
url = ‘‘
values = {‘user‘ : ‘v1‘, ‘password‘ : ‘v2‘}
data = urllib.urlencode(values)

request = urllib2.Request(url, data)
response = urllib2.urlopen(request)
print response.read()


‘‘‘
get
‘‘‘
import urllib
url = ‘http://passport.csdn.net/account/login‘
values={}
values[‘username‘] = "[email protected]"
values[‘password‘]="XXXX"
data = urllib.urlencode(values)
url = url + ‘?‘ + data
print url



‘‘‘
headers
‘‘‘
import urllib
import urllib2
url = ‘‘
values = {}
values[‘user‘] = ‘user1‘
values[‘password‘] = ‘passwd‘
data = urllib.urlencode(values)
headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36‘}
request = urllib2.Request(url,data,headers=headers)
response = urllib2.urlopen(request)



‘‘‘
Proxy代理的设置
‘‘‘
url = ‘‘
proxy_handler = urllib2.ProxyHandler({‘http‘:‘127.0.0.1:8070‘})
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
request = urllib2.Request()


‘‘‘
timeout 设置超时时间
‘‘‘
#方式1
import socket
socket.setdefaulttimeout(10)

#方式2
urllib2.socket.setdefaulttimeout(10)



‘‘‘
URLerror
网络无连接，即本机无法上网
连接不到特定的服务器
服务器不存在
‘‘‘
url = ‘‘
values = {}
data = urllib.urlencode(values)
request = urllib2.Request(url, data)
try:
    response = urllib2.urlopen(request)
except urllib2.URLError,e:
    if hasattr(e,‘reason‘):
        print e.reason
else:
     pass

‘‘‘
Httperror
100：继续  客户端应当继续发送请求。客户端应当继续发送请求的剩余部分，或者如果请求已经完成，忽略这个响应。
101： 转换协议  在发送完这个响应最后的空行后，服务器将会切换到在Upgrade 消息头中定义的那些协议。只有在切换新的协议更有好处的时候才应该采取类似措施。
102：继续处理   由WebDAV（RFC 2518）扩展的状态码，代表处理将被继续执行。
200：请求成功      处理方式：获得响应的内容，进行处理
201：请求完成，结果是创建了新资源。新创建资源的URI可在响应的实体中得到    处理方式：爬虫中不会遇到
202：请求被接受，但处理尚未完成    处理方式：阻塞等待
204：服务器端已经实现了请求，但是没有返回新的信 息。如果客户是用户代理，则无须为此更新自身的文档视图。    处理方式：丢弃
300：该状态码不被HTTP/1.0的应用程序直接使用， 只是作为3XX类型回应的默认解释。存在多个可用的被请求资源。    处理方式：若程序中能够处理，则进行进一步处理，如果程序中不能处理，则丢弃
301：请求到的资源都会分配一个永久的URL，这样就可以在将来通过该URL来访问此资源    处理方式：重定向到分配的URL
302：请求到的资源在一个不同的URL处临时保存     处理方式：重定向到临时的URL
304：请求的资源未更新     处理方式：丢弃
400：非法请求     处理方式：丢弃
401：未授权     处理方式：丢弃
403：禁止     处理方式：丢弃
404：没有找到     处理方式：丢弃
500：服务器内部错误  服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。一般来说，这个问题都会在服务器端的源代码出现错误时出现。
501：服务器无法识别  服务器不支持当前请求所需要的某个功能。当服务器无法识别请求的方法，并且无法支持其对任何资源的请求。
502：错误网关  作为网关或者代理工作的服务器尝试执行请求时，从上游服务器接收到无效的响应。
503：服务出错   由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。
‘‘‘

url = ‘‘
request = urllib2.Request(url)
try:
    response = urllib2.urlopen(request)
except urllib2.HTTPError,e:
    print e.code
    print e.reason
finally:
    pass



‘‘‘
Cookie
‘‘‘

import urllib2
import cookielib
# 声明一个MozillaCookieJar对象实例来保存cookie，之后写入文件
cookie = cookielib.MozillaCookieJar(‘cookie.txt‘)
# 利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
# 通过handler来构建opener
opener = urllib2.build_opener(handler)
# 此处的open方法同urllib2的urlopen方法，也可以传入request
urllib2.install_opener(opener)

values = {}
values[‘user‘] = ‘user1‘
values[‘password‘] = ‘passwd‘
data = urllib.urlencode(values)
headers = {‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36‘}
request = urllib2.Request(url,data, headers=headers)
try:
    res = urllib2.urlopen(request)
except urllib2.URLError,e:
    if hasattr(e,‘reason‘):
        print e.reason
except urllib2.HTTPError.E:
    print E.code
    print E.reason
else:
    pass

cookie.save(ignore_discard=True, ignore_expires=True)

# 进行到上一步以后 脚本的同一路径中有个cookie.txt，这样在就可以不需要登陆直接访问下一个网站了
getUrl = ‘http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre‘
request = urllib2.Request(getUrl)
res = urllib2.urlopen(request)