Scrapy 安装与使用

Posted 2020-10-24 微甜心语

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Scrapy 安装与使用相关的知识，希望对你有一定的参考价值。

Scrapy的安装：

当前环境win10，python_3.6.4，64bit。在命令提示符窗口运行pip install Scrapy，出现以下结果：

building \'twisted.test.raiser\' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

按报错提示安装之后错误依旧存在；

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted> 下载Twisted对应版本的whl文件，cp后面是python版本，amd64代表64位，重新运行pip install命令：

 pip install C:\\Users\\E5-573G\\Desktop\\2018寒假\\Python\\爬虫\\scrapy\\Twisted-17.5.0-cp36-cp36m-win_amd64.whl1

其中install后面为下载的whl文件的完整路径名。

然后再次运行 pip install scrapy 命令即可安装成功。

Scrapy命令行格式：

Scrapy常用命令：

应用Scrapy爬虫框架主要是编写配置型代码。

Scrapy的第一个实例：演示html地址。

演示HTML页面地址：http://python123.io/ws/demo.html

文件名称：demo.html

产生步骤：

步骤1：建立一个Scrapy爬虫工程；

选取一个目录(C:\\Users\\E5-573G\\Desktop\\2018寒假\\Python\\爬虫\\scrapy)，然后执行如下命令：

生成的工程目录：

python123demo/ ——————— 外层目录

scrapy.cfg ——————— 部署Scrapy爬虫的配置文件

python123demo/ ——————— Scrapy框架的用户自定义python代码

init.py ——————— 初始化脚本

items.py ——————— Items代码模板(继承类)

middlewares.py ————— Middlewares代码模块(继承类)

pipelines.py ————— Pipelines.py代码模块(继承类)

settings.py ————— Scrapy爬虫的配置文件

spiders/ ————— Spiders代码模块目录(继承类)

目录结构 pycache/ ————— 缓存目录，无需修改

spiders/ ————— Spiders代码模块目录(继承类)

init.py ————— 初始化脚本

pycache/ ————— 缓存目录，无需修改

内层目录结构用户自定义的spider代码增加在此处

步骤2：在工程中产生一个Scrapy爬虫

进入工程目录(C:\\Users\\E5-573G\\Desktop\\2018寒假\\Python\\爬虫\\scrapy\\python123demo)。然后执行如下命令：

该命令行作用：

生成一个名称为demo的spider

在spiders目录下增加代码文件demo.py

#demo.py
# -*- coding : utf-8 -*-
import scrapy

class DemoSpider(scrapy.Spider) :
    name = "demo"
    allowed_domains = ["python123.io"]
    start_urls = [\'heep://python123.io/\']

    def parse (self,response):
      #parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        pass

步骤3：配置产生spider爬虫

配置：(1)初始URL地址 (2)获取页面后的解析方式

#demo1.py
# -*- coding : utf-8 -*-
import scrapy

class DemoSpider(scrapy.Spider) :
    name = "demo"
    #   allowed_domains = ["python123.io"]  #可选 
    start_urls = [\'heep://python123.io/ws/demo.html\']

    def parse (self,response):
         #parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        fname = response.url.split(\'/\')[-1]
        with open (fname,\'wb\') as f:
            f.write(response.body)
            self.log(\'Saved file %s.\' % fname)

步骤4：运行爬虫，获取网页

在命令行，执行如下命令：

demo爬虫被执行，捕获页面存储在demo.html

回顾demo.py代码

#demo.py
# -*- coding : utf-8 -*-
import scrapy

class DemoSpider(scrapy.Spider) :
    name = "demo"
    start_urls = [\'heep://python123.io/ws/demo.html\']

    def parse (self,response):
         #parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        fname = response.url.split(\'/\')[-1]
        with open (fname,\'wb\') as f:
            f.write(response.body)
            self.log(\'Saved file %s.\' % fname)

demo.py代码的完整版本

#demo all.py
import scrapy

class DemoSpider(scrapy.Spider) :
    name = "demo"

    def start_urls(self):
        urls= [\'heep://python123.io/ws/demo.html\']
        for url in urls:
            yield scrapy.Request(url = url,callback = self.parse)
            
    def parse (self,response):
         #parse()用于处理响应，解析内容形成字典，发现新的URL爬取请求
        fname = response.url.split(\'/\')[-1]
        with open (fname,\'wb\') as f:
            f.write(response.body)
            self.log(\'Saved file %s.\' % fname)