Python readability提取网页正文的优化

Posted 2020-10-06

 Python readability的使用：

from readability.readability import Document

import urllib

html = urllib.urlopen(url).read()

readable_article = Document(html).summary()

readable_title = Document(html).short_title()

      最后抽取出来的readable_article是带HTML标签的文本。然而在好多情况下经过readability过滤后的带HTML标签的文本是我们不想要的，也就是readability取错内容了，面对这种情况我们可以先对传入前的html操作。

      例如，需要提取的正文在<div class="arti-con rel">下即<div class="arti-con rel">与<div class="clearfix page-n-p-con">之间，我们可以采取下面的操作。

             from readability.readability import Document

             from scrapy .selector import HtmlXPathSelector
             from scrapy.http import HtmlResponse

             import urllib

             html = urllib.urlopen(url).read()

             content_t = html.split(‘<div class="arti-con rel">‘)[-1].strip().split(‘<div class="clearfix page-n-p-con"‘)[0].strip()
             content_t = ‘<div class="arti-con rel">‘ + content_t

             readable_article = Document(content_t ).summary()

             response = HtmlResponse(url=‘‘, body=readable_article, encoding=‘utf8‘)
             hxs = HtmlXPathSelector(response)

             html_content = ‘‘.join(hxs.select(‘//text()‘).extract()).strip()

      经过这样处理获得的正文相对干净，并减少了获取不到的现象，缺点是不适合多种页面的网站。