网页抓取后如何保存结果文本

Posted 2023-05-07

【中文标题】网页抓取后如何保存结果文本

【英文标题】：How to save result text after web scraping

【发布时间】：2015-06-02 09:19:03

【问题描述】：

我正在学习 Python 来制作网络爬虫。下面的代码通过帮助很好地工作。然后我想知道如何保存结果？你能帮忙解决这个问题吗？

import nltk
import urllib
import readability
from bs4 import BeautifulSoup
from readability.readability import Document
import mechanize

url = "http://www.nytimes.com/2015/06/02/science/medicines-hidden-roots-in-an-ancient-manuscript.html?ref=science&_r=0"

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Firefox')]

html = br.open(url).read()

readable_article = Document(html).summary()
readable_title = Document(html).short_title()

soup = BeautifulSoup(readable_article)

final_article = soup.text

links = soup.findAll('img', src=True)

print final_article

output = zip(readable_article,readable_title)
writer = csv.writer(open('newyorktimes.csv', 'wb'))
writer.writerows(final_article)

 exit()

【参考方案1】：

这是一堆错别字：

你在做：

from readabiliry.radability import Document
#             ^   ^

你应该导入

from readability.readability import Document