如何使用 Python 3 提取文章站点的文本内容？ [复制]

Posted 2023-02-23

【中文标题】如何使用 Python 3 提取文章站点的文本内容？ [复制]

【英文标题】：How do I extract the text content of an article site with Python 3? [duplicate]

【发布时间】：2017-09-15 18:06:06

【问题描述】：

我尝试了以下方法：

import urllib

link = 'https://automatetheboringstuff.com/chapter7/'
f = urllib.request.urlopen(link)
myfile = f.read()
print(myfile)

但这似乎只是返回页面的源而不是文本内容。

【问题讨论】：

你需要BeautifulSoup

正确吗urllib.request.urlopen(link) ？

【参考方案1】：

如果你只想获得章节文本，我认为美汤是你的选择。

在你的情况下：

import requests
from bs4 import BeautifulSoup

res = requests.get('https://automatetheboringstuff.com/chapter7/')
soup = BeautifulSoup(res.text, 'html.parser')
print(soup.find('div',  "class" : "book" ).text)