1scrapy安装与使用

Posted bluetowhite

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了1scrapy安装与使用相关的知识,希望对你有一定的参考价值。

scrapypython的一个爬虫框架,从网上随意搜索便能得到千篇一律的使用demo(本文也是哟),并且非常容易理解。即便你没看过相关的demo,也一样可以食用本文。我的应用场景大多是列表页,文章页等。如果你的业务需要登录验证,图片验证等,请另寻他法,不要在本篇文章浪费你宝贵的时间。由于我的代码编写,运行几乎都在vscode里进行,所以不同的编辑器可能会有一些差异。

准备:请确保你安装了python,scrapy,pymysql

pip install scrapy 
pip install pymysql

win环境下scrapy安装时可能会出现twisted相关的报错问题,点此下一个对应版本的twisted到本地,并在下载目录下用命令行运行如下命令安装twisted(xxxxx是你下载的twisted完整文件名):

pip install xxxxx

完成安装工作后,打开任意一个文件夹,命令行步进到该文件夹路径下,运行如下命令新建一个项目(请注意:执行命令本质上都是绝对的,这意味着你应该也要这样做。所以如果不是很熟悉对应的框架、文件结构、配置文件、文件内容等,不建议手动输出这些文件。如果为了加深印象,你也应该多敲几次这些命令,而不是力求记住那些文件结构,内容。在了解,学习时就这样做的话,会让你看上去有点憨。当然,实际上你可能什么也记不住,不过没关系,在你需要的时候,再去网上查找相关的资料也是完全没有问题的。):

scrapy startproject myScrapy

运行完成后会在当前目录下生成一个myScrapy文件夹。先看一下目录结构:

├─ myScrapy
│  ├─ scrapy.cfg
│  ├─ myScrapy
│  │  └─ items.py
│  │  ├─ middlewares.py
│  │  ├─ pipelines.py
│  │  ├─ settings.py
│  │  ├─ __init__.py
│  │  ├─ __pycache__
│  │  ├─ spiders
│  │  │  └─ __pycache__
│  │  │  ├─ __init__.py

现在,让我们先写一个简单的爬虫吧。
在项目根目录下运行如下命令(www.lypkb.cn是我的域名,由于域名商让必须挂个网站,所以随便下了个模板挂着......刚好可以做scrapy文章的爬取素材。):

scrapy genspider myTest www.lypkb.cn

在spiders目录下,已经生成了一个myTest.py,内容如下(start_urls里的路径结尾如果是/,若这个/不是请求必须的话,需要删除。我在parse方法下加了一行打印代码,response是爬取页面完成后返回的对象,打印它的text属性可以直观看到是否爬取到了数据):

# -*- coding: utf-8 -*-
import scrapy

class MytestSpider(scrapy.Spider):
    name = ‘myTest‘
    allowed_domains = [‘www.lypkb.cn‘]
    start_urls = [‘http://www.lypkb.cn‘]

    def parse(self, response):
        self.log(response.text)
        pass

接下来在项目根路径运行命令:scrapy crwal myTest,日志输出如下:

技术图片

可以看到已经输出网站首页的代码。至此,scrapy已经完整的运行起来了。现在,尝试着获取一些爬取的网页上的信息吧(之后的内容需要需要读者掌握一些XPATH或者正则表达式的相关知识。)。修改一下上面的parse方法,获取网页的title和如下这个段落:

技术图片

该段落浏览器源代码显示如下:

技术图片

parse代码修改如下:

# -*- coding: utf-8 -*-
import scrapy
import re


class MytestSpider(scrapy.Spider):
    name = ‘myTest‘
    allowed_domains = [‘www.lypkb.cn‘]
    start_urls = [‘http://www.lypkb.cn‘]

    def parse(self, response):
        print(‘#####################XPATH方式#########################‘)
        # response提供xpath方法供xpath检索
        titleXpath = response.xpath(‘//title/text()‘).extract()
        print(titleXpath[0])
        contentXpath = response.xpath(
            ‘//div[@class="container about"]/div/h4/text()‘).extract()
        contentXpath2 = response.xpath(
            ‘//div[@class="container about"]/div/p/text()‘).extract()
        print(‘{}
{}‘.format(contentXpath[0], contentXpath2[0]))

        print(‘#####################正则表达式#########################‘)
        text = response.text
        # 正则表达式需要import re,通过re进行操作
        parttenTitle = re.compile(r‘<title>(.+)</title>‘)
        print(parttenTitle.findall(text)[0])
        parttenContent = re.compile(r‘<h4>(.+
.+)</h4>‘)
        parttenContent2 = re.compile(r‘<p>(.+
.+
.+
.+
.+)</p>‘)
        content = parttenContent.findall(text)
        content2 = parttenContent2.findall(text)
        print(‘{}
{}‘.format(content[0], content2[0]))
        pass

再次执行运行代码:scrapy crwal myTest,控制台输出如下:

技术图片

可以看到XPATH、正则都得到了几乎相同的数据。关于XPATH和正则,建议都掌握,虽然笔者正则很渣就是了。XPATH在获取层级明了的界面时绝对是非常直观明了的方式,可以很迅速的解决你的问题(这个过程甚至只需要1分钟)。但是XPATH也只能应对层级明了,比较简单的页面。大多数时候你需要得到的可能是某个段落里的值、拼接在js里的数据、通过转译字符包裹的文本等。本质上你可以通过XPATH取出这些段落然后用处理字符串的方式清洗掉你不需要的部分,但仔细想一想你操作字符串的代码的样子,我相信你已经吐了,如果多个网站,多种不同的业务逻辑,你的代码肯定会发展的臃肿冗长。这个时候正则就是你的杀手锏了,只要正则能力强,随便获取任意文本任意部分任意段落。但是笔者也不推荐都用正则,正则其实要花更多时间调试的(当然这也和个人正则水平有关,留下了正则水平很渣的泪水。)。


以上是关于1scrapy安装与使用的主要内容,如果未能解决你的问题,请参考以下文章

Android:使用Tab检测单个片段viewpager

PHP代码-psysh调试代码片段工具

VIM 代码片段插件 ultisnips 使用教程

Mooc爬虫05-scrapy框架

python scrapy 简单的爬虫

GitLab安装与汉化-实战