简单总结scrapy使用方法

Posted 2020-10-13

应课程需要写了几天爬虫，一开始使用requests+bs4的技术路线，但是速度不是很理想而且不能暂停，通过查阅资料，发现scrapy正是我需要的

做一下简短的记录：

首先应该毫不犹豫的scrapy startproject  gnspider;scrapy genspider gnspider http://www.chinanews.com;

然后定义items文件，写下我们希望爬虫下载的内容

紧接着去测试gnspider能否请求到网页

gnspider的写法

class GnspiderSpider(scrapy.Spider):

　　name = “gnspider”

　　#从seed页开始，放入start_urls = []

　　#seed页很多，则可以在def start_requests(self):重定义scrapy.Request(url)，并返回由其组成的请求列表，即retuen [scrapy.Request(url),scrapy.Request(url),.....]

　　def parse(self,response):

　　　　#response是我们需要的网页的响应，我们通过css选择器或者xpath进行定位标签元素，这一步是最关键的，快速定位是必须的

　　　　 response.css("div.content_list ul li div.dd_bt a::attr(href)").extract()  #由于本科时了解过css，这里二话不说就用cssSelector，extract()是为了提取内容，结束提取则extract(),未结束则接着找标签。

　　　　response.css("div.left_zw p::text").extract()

　　　　content_list=response.xpath(‘//div[@id=\"artibody\"]/p/text()‘).extract()

　　　　big_urls=sel.xpath(‘//div[@id=\"tab01\"]/div/h3/a/@href‘).extract()　　　　#‘http://news.sina.com.cn/guide‘
　　　　big_titles=sel.xpath("//div[@id=\"tab01\"]/div/h3/a/text()").extract()
　　　　second_urls =sel.xpath(‘//div[@id=\"tab01\"]/div/ul/li/a/@href‘).extract()
　　　　second_titles=sel.xpath(‘//div[@id=\"tab01\"]/div/ul/li/a/text()‘).extract()

 

　　　　divs = response.xpath("//div[@id=‘J_ItemList‘]/div[@class=‘product‘]/div")

　　　　div.xpath("p[@class=‘productPrice‘]/em/@title")[0].extract()

　　　　div.xpath("p[@class=‘productTitle‘]/a/@title")[0].extract()

　　　　div.xpath("p[@class=‘productTitle‘]/a/@href")[0].extract()

　　　　

　　　　item["SHOP_NAME"] = div.xpath("li[1]/div/a/text()")[0].extract()
　　　　item["SHOP_URL"] = div.xpath("li[1]/div/a/@href")[0].extract()
　　　　item["COMPANY_NAME"] = div.xpath("li[3]/div/text()")[0].extract().strip()
　　　　item["COMPANY_ADDRESS"] = div.xpath("li[4]/div/text()")[0].extract().strip(

　　　　#对于每个链接进行请求，这里我想强调的是meta这个参数，可以帮助我们将一级页面上爬到的内容传递到二级页面上，通过response.meta这个字典进行传递，非常方便我们对item进行组装

　　　　for li in lis:

　　　　　　yield scrapy.Request(li,callback = self.parse_detail,meta={"cate":cate})

 

 

　　def parse_detail(self,response):    #解析二级页面

　　　　#经常我们爬取的是一个列表

　　　　str1 = “”.join(lis)     #split方法中不带参数时，表示分割所有换行符、制表符、空格。

　　　　str1 = replace(" ","").replace("\u3000","")

　　　　return item

 

写gnspider的时候一定不要一口气写完，一定要一个函数一个函数的测，首先保证地址写对了，其次保证标签选对了，最后保证item组装好了，我把它称为爬虫三段式

 

既然爬到了内容就应该存下来留个纪念，通过pipelines定义存储方式，在这里使用文件存储

class MyspiderPipeline(object):

　　# def open_spider(self,spider):#针对爬虫
　　# self.f = open(‘gn.txt‘,‘a‘)

　　# def close_spider(self,spider):
　　# self.f.close()

 

　　def process_item(self, item, spider):#针对item

　　　　

　　　　self.f = open(cate[item["CATEGORY"]] + ‘.txt‘,‘a‘)　　　　#注意文件操作，防止乱码
　　　　line = str(dict(item)["CONTENT"]) + ‘\n‘
　　　　self.f.write(line)
　　　　self.f.close()

　　　　return item

 

 

最后别忘了在配置文件中启用pipelines