python爬虫requests模块

Posted 2020-10-09

requests库的七个主要方法

1. requests.requests(method, url, **kwargs)

构造一个请求，支撑以下各方法的基础方法

        method：请求方式，对应get/put/post等七中方法；

        url：拟获取页面的url链接；

        **kwargs：控制访问的参数，共13个；

        method：请求方式

            GET：请求获取url位置的资源；

            HEAD：获得该资源的头部信息；

            POST：请求向url位置的资源后附加新的数据；

            PUT：请求向url位置存储一个资源，覆盖原url位置的资源；

            PATCH：请求局部更新url位置的资源，即改变该处资源的部分内容；

            DELETE：请求删除url位置存储的资源；

        **kwargs：控制访问的参数，均为可选

            params：字典或字节序列，作为参数增加到url中；

            data：字典，字节序列或文件对象，作为Requests的内容；

            json：Json格式的数据，作为Requests的内容；

            headers：字典，HTTP定制头；

            cookies：字典或cookiejar，Requests中的cookie；

            auth：元组，支持HTTP认证功能；

            files：字典类型，传输文件；

            timeout：设定超超时时间，秒为单位；

            proxies：字典类型，设定访问代理服务器，可以增加登记认证；

            allow_redirests：True/Flase，默认为True，重定向开关；

            stream：True/False，默认为True，获取内容立即下载开关；

            verify：True/False，默认为True，认证SSL证书开关；

            cert：本地SSL证书路径；

2. request.get(url, params=None, **kwargs)

获取HTML网页的主要方法，对应HTTP的GET；

        params：url中额外参数，字典或字节流格式，可选；

        **kwargs：12个控制访问参数；

3.requests.head(url, **kwargs)

获取HTML网页头信息方法，对应HTTP的HEAD；

        **kwarge：12个控制访问参数；

4.requests.post(url, data=None, json=None, **kwargs)

向HTML网页提交post请求的方法，对应HTTP的POST；

        data；字典、字节序列或文件，Requests的内容；

        json：Json格式的数据，Requests的内容；

        **kwargs：12个控制访问参数；

5.requests.put(url, data=None, **kwargs)

向HTML网页提交PUT请求方法，对应HTTP的PUT；

        data：字典、字节序列或文件，Requests的内容；

        **kwargs：12个控制访问参数；

6. requests.patch(url, data=None, **kwargs)

向HTML页面提交局部修请求，对应HTTP的PATCH；

        data：字典、字节序列或文件，Requests的内容；

        **kwagrs：12个控制访问参数；

7. requests.delete(uel, **kwagrs)

向HTML页面提交删除请求，对对应HTTP的DELETE；

        **kwagrs：12个访问控制的参数；

requests库的两个重要的对象

Response对象的属性

1. r.status_code

　　HTTP请求的返回状态，200表示链接成功，404或其他表示失败；

2. r.text

　　HTTP响应内容的字符串形式，即url对应的页面内容；

3. r.encoding

　　从HTTP header中猜测的响应内容编码方式；

　　如果header中不存在charset，则认为编码为ISO-8859-1,r.text根据r.encoding显示网页内容；

4. r.apparent_encoding    

　　从内容中分析出的响应内容编码方式（备选编码方式）；

5. r.content

　　HTTP响应内容的二进制形式；

Requests库的异常

1. requests.ConnectionError

　　网络连接错误异常，如DNS查询失败，拒绝链接等；

2. requests.HTTPError

　　HTTP错误异常；

3. requests.URLRequired

　　url缺失异常；

4.requests.TooManyRedirects

　　超出最大重定向次数，产生重定向异常；

5. requests.ConnectTimeout

　　连接远程服务器超时异常；

6. requests.Timeout

　　请求url超时，产生超时异常；

7.r.raise_for_status()

　　如果不是200，产生异常requests.HTTPError;

爬取网页的通用代码框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        #RU如果状态不是200，引发HTTPError异常
        r.encoding() = r.appearent_conding()
        return r.text
    except:
        return "产生异常"
if __name__ == "__name__":
    url = "www.baidu.com"
    print(getHTMLText(url))