4.scrapy爬虫文件

Posted 2020-12-15 xcymn

scrapy.Spider

这一节我们来聊一聊爬虫文件

1. 请求发送

# -*- coding: utf-8 -*-
import scrapy


class BaiduSpider(scrapy.Spider):
    name = ‘baidu‘
    allowed_domains = [‘baidu.com‘]
    start_urls = [‘http://baidu.com/‘]

    def parse(self, response):
        print(response.text)

我们来一步一步分析这个文件中的代码是如何运行的

1.1 start_urls

这是一个列表, 列表的每一个元素都一个一个url, 当我们的爬虫启动的时候会循环这个列表, 然后会把url当做请求的地址发送出去, 但是在本文件的代码层面上是没有体现的, 这里我们点击源码去一探究竟.

# 点击scrapy.Spiderr源码中 当我们运行爬虫的时候 就会触发 start_requests 这个方法

    def start_requests(self):
        # scrapy 默认的起始函数(当执行启动命令时,会触发这个函数)
        cls = self.__class__
        if not self.start_urls and hasattr(self, ‘start_url‘):
            raise AttributeError(
                "Crawling could not start: ‘start_urls‘ not found "
                "or empty (but found ‘start_url‘ attribute instead, "
                "did you miss an ‘s‘?)")
        if method_is_overridden(cls, Spider, ‘make_requests_from_url‘):
            warnings.warn(
                "Spider.make_requests_from_url method is deprecated; it "
                "won‘t be called in future Scrapy releases. Please "
                "override Spider.start_requests method instead (see %s.%s)." % (
                    cls.__module__, cls.__name__
                ),
            )
            for url in self.start_urls:
                yield self.make_requests_from_url(url)        
        else:
            for url in self.start_urls:
                # 每一个url封装成Request对象,交给调度器 这里dont_filter=True 默认不过滤
                yield Request(url, dont_filter=True)
                

这里我们重点是看else: 后面的代码, 就先不看前面的两个 if 了, 就是遍历然后把每一个url封装成Request对象,交给调度器, 然后发送请求, 默认是GET请求, 回调函数是parse

这里我们也可以自己重写发请求的方法, 以及自定义回调函数.

# -*- coding: utf-8 -*-
import scrapy


class BaiduSpider(scrapy.Spider):
    name = ‘baidu‘
    allowed_domains = [‘baidu.com‘]
    start_urls = [‘http://baidu.com/‘]
    
    
    def start_requests(self): 
        for url in self.start_urls:
            # 每一个url封装成Request对象,交给调度器
            yield Request(url, dont_filter=True, callback=self.my_parse)

    def my_parse(self, response):
        print(response.text)

1.2 Request对象

Request(url[, callback,method=‘GET‘, header,body, cookies, meta, encoding=‘utf-8‘, priority=0,dont_filte=False, errback])

下面介绍这些参数

• url (string) ---------------> 请求页面的url地址，bytes或者str类型。
• callback (callable) -------> 页面解析函数（回调函数） callable类型 Request对象请求的页面下载完成后，由该参数指定页面解析函数被调用。如果没有定义该参数，默认为parse方法。
• method (string) ---------> http请求的方法，默认为GET
• header (dict) -------------> http 请求的头部字典，dict类型，例如{“Accrpt”:"text/html","User-Agent":"Mozilla/5.0"},如果其中某一项的值为空，就表示不发送该项http头部,例如：{“cookie”：None} 表示禁止发生cookie.
• body (str) -------------------> http请求的正文，bytes或者str类型。
• cookies (dict or cookiejar对象) -----> cookies 信息字典，dict类型。
• meta (dict) ------------------> Request的元素数据字典，dict类型，用于框架中其他组件传递信息，比如中间件Item Pipeline. 其他组件可以使Request对象的meta属性访问该元素字典（request.meta）,也用于给响应处理函数传递信息。
• encoding (string) ---------> url和body参数的编码方式，默认为utf-8，如果传入str类型的参数，就使用该参数对其进行编码。
• priority (int) ----------------> 请求的优先级默认为0 ，优先级高的请求先下载。
• dont_filter (boolean) ----> 指定该请求是否被 Scheduler过滤。该参数可以是request重复使用（Scheduler默认过滤重复请求）。但是默认的start_ulrs中的请求是dont_filter = True 不过滤。
• errback (callable) --------> 请求出现异常或者出现http错时的回调函数。

1.3 发送post请求

发送post请求的话，这里归纳三种

1.3.1 基于Request对象

这种是最接近底层的，通过自己改写请求方式和构造提交的数据

from scrapy import Request

headers = {‘Content-Type‘:‘application/x-www-form-urlencoded‘}

data = {‘k1‘:‘v1‘,‘k2‘,‘v2‘}

# 通过方法将data的键值对编码成下面这种格式
body = b‘k1=v1&k2=v2‘

Request(url, method=‘POST‘, headers=headers,body=body, callback=self.my_parse)

1.3.2 基于fromRequest对象

from scrapy import FromRequest


data = {} # 以键值对的形式存放要提交的数据 内部会把数据编码成k1=v1&k2=v2这种格式,发送出去
# 此时的请求头中是
# self.headers.setdefault(b‘Content-Type‘, b‘application/x-www-form-urlencoded‘)
# 这是浏览器原生的一种提交数据的方式 大部分服务端语言都对这种方式有很好的支持


FromRequest(url, callback=self.my_parse,data=data) # 默认不指定请求方式就是POST请求

1.3.3 基于JsonRuquest对象 ( 推荐 )

from scrapy.http import JsonRequest


data = {} # 以键值对的形式存放要提交的数据 内部会把当前data序列化成json格式,然后直接发送
# 此时的请求头中是self.headers.setdefault(‘Content-Type‘, ‘application/json‘)
# 现在比较流行的一种方式(写代码,推荐这种)


FromRequest(url, callback=self.my_parse,data=data) # 默认不指定请求方式就是POST请求

2. 提一下cookies

有些网站想要爬取是需要登录的, 登录后服务端会返回一串cookies给客户端, 这样客户端再发请求, 就会带着cookie, 服务端就会把它认为是已登录的账号了

解析cookies

from scrapy.http.cookies import CookieJar

cookie_jar = CookieJar()
cookie_jar.extract_cookies(response,response.request) 
# response.request 是产生该http响应的Request对象

print(cookie_jar) # 是一个cookie_jar对象


# 还有一种从响应头中获取服务端设置的cookie
cookies = response.headers.getlist(‘Set-Cookie‘)
print(cookies)
# [b‘BDORZ=27315; max-age=86400; domain=.baidu.com; path=/‘]

3. 回调函数

def parse(self, response):
    # 默认的回调函数
    print(response.text)

3.1 response对象

response对象是用来描述一个HTTP响应的，一般是和request成对出现，你用浏览器浏览网页的时候，给网站服务器一个request(请求)，然后网站服务器根据你请求的内容给你一个response(响应)。

那 Scrapy中的response又是什么东西？

其实这个response和上边讲到的作用一样，不过在Scrapy中的response是一个基类，根据网站响应内容的不同，

response还有三个子类 :

• TextResponse
• HtmlResponse
• XmlResponse

当页面下载完成之后，Scrapy中的下载器会根据HTML响应头部中的ContentType信息创建相应的子类对象。

3.2 response常见属性

属性名	作用
url	HTTP相应的 URL地址，str类型的
status	HTTP响应状态码，int类型的（在pycharm的控制台中你可以看到，例如200,404）
body	HTTP响应正文，bytes类型
text	文本形式的HTTP响应正文，str类型，由response.body使用response.encoding解码得到的
encoding	HTTP响应正文的编码（有时候会出现烦人的乱码问题，那你得注意是不是这个属性出问题了）
request	产生该HTTP响应的Requset对象
meta	response.request.meta 在构造request对象的时候，可以将要传递个响应处理函数的信息通过meta参数传入；响应处理函数处理响应时候，通过response.meta将信息取出

# text属性来源
response.text=response.body.decode(response.encoding)

3.3 response常用方法

3.3.1 xpath ( ) 语法

使用xpath选择器提取Response中的数据，实际上它是response.selector.xpath方法的快捷方式。

符号	名称	含义
/	绝对路径	表示从根节点开始选取
//	相对路径	表示选择从任意位置的某个节点, 而不考虑他们的位置

# 匹配所有的a标签 返回的是一个列表 每个元素都是一个selector对象可以继续.xpath
hxs = response.xpath(‘//a‘) 

# 匹配第二个a标签
hxs = response.xpath(‘//a[2]‘)

# 匹配有id属性的所有a标签
hxs = response.xpath(‘//a[@id]‘)

# 匹配id属性等于i1的所有a标签
hxs = response.xpath(‘//a[@id="i1"]‘)

# 匹配href属性等于link.html并且id属性等于i1的所有a标签
hxs = response.xpath(‘//a[@href="link.html"][@id="i1"]‘)

# 匹配href属性中存在link的所有a标签
hxs = response.xpath(‘//a[contains(@href, "link")]‘)

# 匹配href属性中以link开头的所有a标签
hxs = response.xpath(‘//a[starts-with(@href, "link")]‘)

# 正则匹配 匹配id属性中满足id+正则表达式的所有a标签
hxs = response.xpath(‘//a[re:test(@id, "id+")]‘)

# 获取所有a标签的文本  返回的是一个列表 每个元素都是字符串
hxs = response.xpath(‘//a/text()‘).extract()

# 获取所有a标签的href属性值  返回的是一个列表 每个元素都是字符串
hxs = response.xpath(‘//a/@href‘).extract()

# 获取第一个a标签的href属性值  返回一个字符串
hxs = response.xpath(‘//a/@href‘).extract_first()

3.3.2 css ( ) 语法

使用css选择器提取Response中的数据，实际上它是response.selector.css方法的快捷方式。

使用css相对于xpath写法简单一些, 但是内部还是把css的查询语句转换成xpath的查询语句, 只是查询的接口用法变的简单了。所以你写xpath的话, 是不是相对于css要少一步转换

    def css(self, query):
        """
        Apply the given CSS selector and return a :class:`SelectorList` instance.

        ``query`` is a string containing the CSS selector to apply.

        In the background, CSS queries are translated into XPath queries using
        `cssselect`_ library and run ``.xpath()`` method.

        .. _cssselect: https://pypi.python.org/pypi/cssselect/
        """
        # 通过_css2xpath方法转换
        return self.xpath(self._css2xpath(query))

表示式	描述
a	选中所有a标签
a,p	选中所有a标签和p标签
div p	选中div标签后代中所有的p标签
div>p	选中div标签子代中的所有p标签
.title	选中class属性是title的所有标签
#id1	选中id属性是id1的所有标签
[attr]	选中包含attr属性的所有标签
[attr=value]	选中attr属性等于value的所有标签
[ATTR~=VALUE]	选中包含ATTR属性且值包含VALUE的元素
div::attr(class)	选中所有div标签的class属性值
div::text	选中所有的div标签的文本内容

# 返回一个列表,每一个元素都是一个selector对象,可以继续.css()
response.css()

# 返回匹配到第一个字符串
response.css().get()

# 返回一个列表,每一个元素都是一个字符串
response.css().getall()

当然你也可以用你熟悉的bs4这个解析库来对响应回来的网页内容进行提取。

3.3.3 urljoin(url)

用于构造绝对的url。当传入的url参数是一个相对的url时，根据response.urljoin(url),即可获得绝对路径。

urljoin(url) 用于构造绝对url ，当传入的url参数是一个相对地址的时候，这个伙计会根据response.url计算出相

应的绝对地址。

举个栗子：

response.url=‘https://mp.csdn.net’，url=‘mdeditor/85640067’。

则response.joinurl(url)的值为‘https://mp.csdn.net/mdeditor/85640067’

然后就可以根据这个构造出来的新的url，重新构造request，然后爬取下一页面的内容了

4. 翻页

既然是用框架爬虫那么会爬很多的网页，这就会涉及到翻页的操作了

4.1 基于start_urls

你可以把你想要爬取的所有url全部放在start_urls中, 因为一般翻页url都是有一定的固定格式的，可以通过列表的

推导式生成。

# 这里的网址只是为了举例

start_urls = [‘http://www.xiaohua.com/index?page={}‘.formart(i) for i  in  range(1,101)]

# 还记得上面提到的，爬虫文件运行后会对start_url进行遍历, 会对每个url发请求请求

4.2 通过meta传参

meta（字典）是Request对象中的一个参数, 可以在请求和响应之间传递

Request(url=url,meta={‘page‘:‘1‘})


def paser(self,response)
	page = response.meta.get(‘page‘) # 获取上次请求中的meta中的page对应的值
    new_page = page += 1
    
    url = ‘http://www.xiaohua.com/index?page={}‘.formate(new_page)
    
    ....
    
    yield Request(url=url,meta={‘page‘:new_page})

5. 总结

无论是哪种选择器，只要你能够熟练使用，提取到你想要的内容就可以了，但是我觉得xpath还是比较全的。

以及要掌握post请求是如何发送和分页的构造。

接下来我们对数据持久化。