第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器相关的知识,希望对你有一定的参考价值。

第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器

 

css选择器

1、

技术分享

 

2、

技术分享

 

3、

技术分享

 

举例:

# -*- coding: utf-8 -*-
import scrapy

class PachSpider(scrapy.Spider):
    name = pach
    allowed_domains = [blog.jobbole.com]
    start_urls = [http://blog.jobbole.com/all-posts/]

    def parse(self, response):

        asd = response.css(.archive-title::text).extract()
        # print(asd)

        for i in asd:
            print(i)

技术分享

 

以上是关于第三百四十节,Python分布式爬虫打造搜索引擎Scrapy精讲—css选择器的主要内容,如果未能解决你的问题,请参考以下文章

第三百四十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—编写spiders爬虫文件循环抓取内容—

第三百四十五节,Python分布式爬虫打造搜索引擎Scrapy精讲—爬虫和反爬的对抗过程以及策略

第三百四十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过downloadmiddleware随机更换user-agent浏览器用户代理

第三百七十节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索结果分页

第三百五十六节,Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy分布式爬虫要点

第三百三十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—深度优先与广度优先原理