scrapy 按顺序抓取text内容

Posted vivi~

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了scrapy 按顺序抓取text内容相关的知识,希望对你有一定的参考价值。

需求:获得如下li.clearfix 下的所有text,并且按顺序输出

1. x.css(\'div.reply-doc h4 a::text\').extract();

2.  x.css(\'div.reply-doc h4::text\').extract();

3.  x.css(\'div.reply-doc span.pubtime::text\').extract();

4.  x.css(\'div.reply-quote span.short::text\').extract();

5. x.css(\'div.reply-quote span.all::text\').extract(); ……

 

但是这样,只会返回5个list;

应该:

x.css(\'div.reply-doc h4 a::text\',\'div.reply-doc h4::text\',\'div.reply-doc span.pubtime::text\',......).extract()

 

 

以上是关于scrapy 按顺序抓取text内容的主要内容,如果未能解决你的问题,请参考以下文章

BeautifulSoup抓取百度贴吧

python3下scrapy爬虫(第二卷:初步抓取网页内容之直接抓取网页)

如何用scrapy抓取每个链接的所有内容?

使用scrapy抓取电子商务

scrapy不会抓取所有内容

使用 python-Scrapy 抓取动态内容