记录 Beautiful Soup 库的一个坑（获取标签内的文本字符串内容时需要注意空格）

Posted 2022-04-20 Xavier Jiezou

项目场景

Beautiful Soup 是一个可以从 html 或 XML 文件中提取数据的第三方 Python 库，通常在网络爬虫项目中使用。今天，笔者在使用过程中遇到了一个坑，在此记录，并将解决方案分享给大家。

问题描述

参考官方文档可知：如果标签里面只有一个子节点，使用 .string 方法可以获得标签内的文本内容。

但是，运行下列代码的输出结果却分别是 None 和 ZXC's Blog。

from bs4 import BeautifulSoup
html = '''<p> <a href="https://ghgxj.xyz/">ZXC's Blog</a></p>'''
soup = BeautifulSoup(html, 'lxml')
print(soup.string) # None
print(soup.select_one('a').string) # ZXC's Blog

细心的同学可能已经发现问题了，p 标签和 a 标签中间有一个空格，空格也算一个子节点，导致 p 标签下有2个子节点了，不满足 .string 方法的使用要求，所以返回 None。

那么，问题来了，不采用 .select_one 方法，如果获取 a 标签内的文本内容？

解决方案

使用 .stripped_strings 可以获取标签内的多个文本内容，并去掉空白内容：

print(next(soup.stripped_strings)) # ZXC's Blog

引用参考

BeautifulSoup 官方文档->string
BeautifulSoup 官方文档->strings-stripped-strings