如何使用BS4从标签外部提取文本

Posted 2023-02-26

我正在尝试扫描一堆维基百科页面，以获取有关二战的统计数据。

我正在使用BeautifulSoup尝试从维基百科页面右侧的列中获取所有统计信息。代码如下所示。 “links.csv”是一个带有一堆链接结尾的文件，例如“Battle_of_Leyte_Gulf”。我已经测试了<h2>标签，它正确访问所有网站。

import requests
from bs4 import BeautifulSoup
import pandas
df=pandas.read_csv("links.csv")
links=df['links']
for url in links:
  # print("\n"+url+"\n")
  txt="https://en.wikipedia.org/wiki/"+url
  page=requests.get(txt)
  soup=BeautifulSoup(page.content, 'html.parser')
  tags = soup.find_all("br")
  for tag in tags:
    print(tag)

但是，我注意到文字不在实际中 标签，它实际上就像列出的那样。

"Sixth Army: "
<br>
"≈200,000"
<br>
<span class="flagicon">...</span>
"Air and naval forces: ≈120,000"

我想知道如何获得实际文本“第六军：”和“≈200,000”。

链接到这里：https://en.wikipedia.org/wiki/Battle_of_Leyte

答案

您可以隔离td单元格，然后使用next_sibling

import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://en.wikipedia.org/wiki/Battle_of_Leyte')
soup = bs(r.content, 'lxml')
visible_row = soup.select_one('.vevent tr:nth-of-type(12) td span')
print(visible_row.next_sibling)
print(visible_row.next_sibling.next_sibling.next_sibling)