python爬虫入门-Scrapy基本使用
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫入门-Scrapy基本使用相关的知识,希望对你有一定的参考价值。
源码:链接:http://pan.baidu.com/s/1dEK82hb 密码:9flo
创建项目 scrapy startproject tutorial
爬取 scrapy crawl dmoz
爬取并保存为json格式 scrapy crawl dmoz -o items.json -t json
scrapy shell "网址/资源"
载入之后将能得到response的回应
response.body
response.headers
>>>response.xpath(‘//title‘)
>>>response.xpath(‘//title/text()‘).extract()
编辑Item:
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class DmozItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
编辑蜘蛛:
爬取并保存为json格式
至此,根目录下会多出一个json文件
以上是关于python爬虫入门-Scrapy基本使用的主要内容,如果未能解决你的问题,请参考以下文章
小白学 Python 爬虫(40):爬虫框架 Scrapy 入门基础对接 Selenium 实战
小白学 Python 爬虫(37):爬虫框架 Scrapy 入门基础 Spider Middleware