python爬虫入门-Scrapy基本使用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫入门-Scrapy基本使用相关的知识,希望对你有一定的参考价值。

源码:链接:http://pan.baidu.com/s/1dEK82hb 密码:9flo

创建项目                                 scrapy startproject tutorial
爬取                                         scrapy crawl dmoz
爬取并保存为json格式           scrapy crawl dmoz -o items.json -t json

scrapy shell "网址/资源"
载入之后将能得到response的回应
response.body
response.headers
技术分享
>>>response.xpath(‘//title‘)
>>>response.xpath(‘//title/text()‘).extract()

技术分享
 


编辑Item:
技术分享
  1. # -*- coding: utf-8 -*-
  2. # Define here the models for your scraped items
  3. #
  4. # See documentation in:
  5. # http://doc.scrapy.org/en/latest/topics/items.html
  6. import scrapy
  7. class DmozItem(scrapy.Item):
  8. # define the fields for your item here like:
  9. # name = scrapy.Field()
  10. title = scrapy.Field()
  11. link = scrapy.Field()
  12. desc = scrapy.Field()

编辑蜘蛛:
技术分享
 技术分享
 
爬取并保存为json格式
技术分享
至此,根目录下会多出一个json文件
技术分享
 

 














以上是关于python爬虫入门-Scrapy基本使用的主要内容,如果未能解决你的问题,请参考以下文章

scrapy主动退出爬虫的代码片段(python3)

如何入门 Python 爬虫

小白学 Python 爬虫(40):爬虫框架 Scrapy 入门基础对接 Selenium 实战

小白学 Python 爬虫(37):爬虫框架 Scrapy 入门基础 Spider Middleware

Python爬虫从入门到放弃之 Scrapy框架的架构和原理

Python爬虫从入门到放弃(十九)之 Scrapy爬取所有知乎用户信息(下)