Scrapy将爬取的段落整合为字符串

Posted 2021-01-18 edenchaniy

使用Scrapy框架爬取文章的时候，经常会遇到要爬取多个段落的问题，如果这个时候使用的是：

text = response.xpath("......").extract()

那么会发现爬取下来的文章是以段落为单位的list，不方便直接展示。

这个时候可以将list转化为字符串，具体语法如下：

content=‘
‘.join(text)

这样就可以把段落用换行符分割开来，方便直接展示。