scrapy01-scrapy的项目的创建和启动
Posted gzwzx
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy01-scrapy的项目的创建和启动相关的知识,希望对你有一定的参考价值。
1、安装scrapy
在Windows下安装scrapy框架。由于scrapy框架依赖较多,安装需要注意一下几点:
pip install pipywin32 pip install wheel #不用也可以 pip install Twisted pip install scrapy
2、新建爬虫项目
- 新建项目
scrapy startproject [项目名]
- 新建爬虫
scrapy genspider [爬虫名] [域名]
- 编写爬虫文件,在执行上述命令后。在项目的根目录下的spider文件夹下后生成一个爬虫文件,想过逻辑在里面书写
import scrapy # from scrapy.selector.unified import SelectorList from scrapy1_test.items import Scrapy1TestItem class DuanziSpider(scrapy.Spider): name = ‘duanzi‘ allowed_domains = [‘ishuo.cn‘] start_urls = [‘http://ishuo.cn/‘] def parse(self, response): contents = [] content_lis = response.xpath("//div[@id=‘list‘]/ul/li") for li in content_lis: content = li.xpath(‘./div[1]/text()‘).get()#与etree的text()方法不同,这里拿到的是一个对象,需要get()才可以取出里面的内容 info = li.xpath(‘./div[2]/a/text()‘).get() item = Scrapy1TestItem(content=content,info=info) yield item #这种方式是单个item返回,也可以用一个列表集中返回 # contents.append(item) # return contents yield scrapy.Request
以上是关于scrapy01-scrapy的项目的创建和启动的主要内容,如果未能解决你的问题,请参考以下文章
Python网络爬虫实战-Scrapy视频教程 Python系统化项目实战课程 Scrapy技术课程
代写数据库表设计代写SQL语句代做数据库项目代做MySQL数据库
严重: Error in dependencyCheck java.io.IOException: invalid header field(tomcat启动成功可是訪问web项目404错误)(示例代
spring cloud导入一个新的spring boot项目作为spring cloud的一个子模块微服务,怎么做/或者 每次导入一个新的spring boot项目,IDEA不识别子module(代
185-在idea中创建springboot项目启动时出现java.lang.NoClassDefFoundError: ch/qos/logback/core/spi/LifeCycle错误(示例代
解决Linux Tomcat启动慢--Creation of SecureRandom instance for session ID generation using [SHA1PRNG] to(代