scrapy入门

Posted 2021-01-26 lclog

什么是scrapy？

scrapy是一个为了爬去网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取

scrapy使用了 Twisted 异步网络框架，可以加快我们的下载速度

异步和非阻塞的区别

异步：调用在发布之后，这个调用就直接返回，不管有无结果
非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程

安装scrapy

直接安装可能会报错

• 第一步 下载Twisted
  • 点击 https://www.lfd.uci.edu/~gohlke/pythonlibs/
  • 搜索 Twisted 选择与你的python版本相对应的版本
  • 查看python版本命令 python -V或着python -version
• 第二步 安装Twisted
  • 进入到刚刚下载的Twisted所在的目录，执行 pip install Twisted?18.9.0?cp36?cp36m?win_amd64.whl(刚刚下载的文件)
• 第三部 安装scrapy
  • pip install scrapy

scrapy项目流程

• 创建项目
  • scrapy startproject 项目名
  • 如：scrapy startproject Myspider
• 创建爬虫
  • cd 项目名
  • 如：cd Myspider
  • scrapy genspider <爬虫名字> <限制访问的网站(allowed_domains)>
  • 如：scrapy genspider itcast itcast.cn
• 启动爬虫
  • scrapy crawl 爬虫名
  • 如：scrapy crawl itcast
    
• 完善spider
• 完善管道

完善spider

• parse方法必须有，用来处理start_urls对应的响应
• extract() response.xpath()从中提取数据的方法，没有就返回一个空列表

数据提取url地址补全

• 1.手动字符串相加
• 2.urllib.parse.urljoin(baseurl.url)
  • 后面的url会根据baseurl进行url地址的拼接
• 3.response.follow(url, callback)
  • 能够根据response的地址把url拼接完整，构造成request对象

scrapy构造请求

• scrapy.Request(url, callback, meta, dont_filter=False)
  • callback:url地址的响应的处理函数
  • meta：实现在不同的解析函数中传递数据
  • dont_filter:默认是Faslse表示过滤，scrapy请求过的url地址，在当前的运行程序中
    

    ---恢复内容结束---

    ### 什么是scrapy？
    scrapy是一个为了爬去网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取

scrapy使用了 Twisted 异步网络框架，可以加快我们的下载速度

异步和非阻塞的区别

异步：调用在发布之后，这个调用就直接返回，不管有无结果
非阻塞：关注的是程序在等待调用结果（消息，返回值）时的状态，指在不能立刻得到结果之前，该调用不会阻塞当前线程

安装scrapy

直接安装可能会报错

• 第一步 下载Twisted
  • 点击 https://www.lfd.uci.edu/~gohlke/pythonlibs/
  • 搜索 Twisted 选择与你的python版本相对应的版本
  • 查看python版本命令 python -V或着python -version
• 第二步 安装Twisted
  • 进入到刚刚下载的Twisted所在的目录，执行 pip install Twisted?18.9.0?cp36?cp36m?win_amd64.whl(刚刚下载的文件)
• 第三部 安装scrapy
  • pip install scrapy

scrapy项目流程

• 创建项目
  • scrapy startproject 项目名
  • 如：scrapy startproject Myspider
• 创建爬虫
  • cd 项目名
  • 如：cd Myspider
  • scrapy genspider <爬虫名字> <限制访问的网站(allowed_domains)>
  • 如：scrapy genspider itcast itcast.cn
• 启动爬虫
  • scrapy crawl 爬虫名
  • 如：scrapy crawl itcast
    
• 完善spider
• 完善管道

完善spider

• parse方法必须有，用来处理start_urls对应的响应
• extract() response.xpath()从中提取数据的方法，没有就返回一个空列表

数据提取url地址补全

• 1.手动字符串相加
• 2.urllib.parse.urljoin(baseurl.url)
  • 后面的url会根据baseurl进行url地址的拼接
• 3.response.follow(url, callback)
  • 能够根据response的地址把url拼接完整，构造成request对象

scrapy构造请求

• scrapy.Request(url, callback, meta, dont_filter=False)
  • callback:url地址的响应的处理函数
  • meta：实现在不同的解析函数中传递数据
  • dont_filter:默认是Faslse表示过滤，表示请求过的url地址，不会被再次请求