BeautifulSoup.find_all() 方法不适用于命名空间标签
Posted
技术标签:
【中文标题】BeautifulSoup.find_all() 方法不适用于命名空间标签【英文标题】:BeautifulSoup.find_all() method not working with namespaced tags 【发布时间】:2017-11-24 14:32:33 【问题描述】:我今天在使用 BeautifulSoup 时遇到了一个非常奇怪的行为。
我们来看一个很简单的html sn-p:
<html><body><ix:nonfraction>lele</ix:nonfraction></body></html>
我正在尝试使用 BeautifulSoup 获取 <ix:nonfraction>
标记的内容。
使用find
方法时一切正常:
from bs4 import BeautifulSoup
html = "<html><body><ix:nonfraction>lele</ix:nonfraction></body></html>"
soup = BeautifulSoup(html, 'lxml') # The parser used here does not matter
soup.find('ix:nonfraction')
>>> <ix:nonfraction>lele</ix:nonfraction>
但是,当尝试使用 find_all
方法时,我希望返回一个包含该单个元素的列表,但事实并非如此!
soup.find_all('ix:nonfraction')
>>> []
事实上,find_all
似乎每次在我正在搜索的标签中出现冒号时都会返回一个空列表。
我已经能够在两台不同的计算机上重现该问题。
有没有人有解释,更重要的是,有解决方法?
我需要使用find_all
方法只是因为我的实际情况需要我在整个html 页面上获取所有这些标签。
【问题讨论】:
ix:
不是标签的名字,它是命名空间。
@WillemVanOnsem 根据***.com/questions/3058912/…,您应该能够使用命名空间标签名称。
@Barmar:是的,我更多地指的是标题:这些不是带有冒号的标记名,而是带有明确命名空间的标记。
忘了补充说我自己从未使用过 html :) 编辑了问题的标题以使用正确的术语,如果我仍然太不精确,请随时告诉我
【参考方案1】:
@yosemite_k 的解决方案之所以有效,是因为在 bs4 的源代码中,它跳过了导致此行为的某个条件。事实上,您可以做许多变化,从而产生相同的结果。例子:
soup.find_all("ix:nonfraction")
soup.find_all('ix:nonfraction', limit=1)
soup.find_all('ix:nonfraction', text=True)
下面是来自beautifulsoup 源代码的sn-p,它显示了当您调用find
或find_all
时会发生什么。你会看到find
只是用limit=1
调用find_all
。在_find_all
中,它检查一个条件:
if text is None and not limit and not attrs and not kwargs:
如果它达到那个条件,那么它最终可能会降到这个条件:
# Optimization to find all tags with a given name.
if name.count(':') == 1:
如果它成功了,那么它会重新分配name
:
# This is a name with a prefix.
prefix, name = name.split(':', 1)
这就是你的行为不同的地方。只要find_all
不满足任何先验条件,那么您就会找到该元素。
beautifulsoup4==4.6.0
def find(self, name=None, attrs=, recursive=True, text=None,
**kwargs):
"""Return only the first child of this Tag matching the given
criteria."""
r = None
l = self.find_all(name, attrs, recursive, text, 1, **kwargs)
if l:
r = l[0]
return r
findChild = find
def find_all(self, name=None, attrs=, recursive=True, text=None,
limit=None, **kwargs):
"""Extracts a list of Tag objects that match the given
criteria. You can specify the name of the Tag and any
attributes you want the Tag to have.
The value of a key-value pair in the 'attrs' map can be a
string, a list of strings, a regular expression object, or a
callable that takes a string and returns whether or not the
string matches for some custom definition of 'matches'. The
same is true of the tag name."""
generator = self.descendants
if not recursive:
generator = self.children
return self._find_all(name, attrs, text, limit, generator, **kwargs)
def _find_all(self, name, attrs, text, limit, generator, **kwargs):
"Iterates over a generator looking for things that match."
if text is None and 'string' in kwargs:
text = kwargs['string']
del kwargs['string']
if isinstance(name, SoupStrainer):
strainer = name
else:
strainer = SoupStrainer(name, attrs, text, **kwargs)
if text is None and not limit and not attrs and not kwargs:
if name is True or name is None:
# Optimization to find all tags.
result = (element for element in generator
if isinstance(element, Tag))
return ResultSet(strainer, result)
elif isinstance(name, str):
# Optimization to find all tags with a given name.
if name.count(':') == 1:
# This is a name with a prefix.
prefix, name = name.split(':', 1)
else:
prefix = None
result = (element for element in generator
if isinstance(element, Tag)
and element.name == name
and (prefix is None or element.prefix == prefix)
)
return ResultSet(strainer, result)
results = ResultSet(strainer)
while True:
try:
i = next(generator)
except StopIteration:
break
if i:
found = strainer.search(i)
if found:
results.append(found)
if limit and len(results) >= limit:
break
return results
【讨论】:
哇,感谢您的努力!我会接受你的解决方案,因为它回答了它不起作用的原因和(实际上是几个)解决方法【参考方案2】:将标签名称留空并使用 ix 作为属性。
soup.find_all("ix:nonfraction")
效果很好
编辑:'ix:nonfraction' 不是标签名称,因此 soup.find_all("ix:nonfraction") 为不存在的标签返回了一个空列表。
【讨论】:
我回到了文档中,仍然不明白为什么会这样,但它确实有效!谢谢 很高兴为您提供帮助。第一个参数是标签名称,您要求的是不存在的标签,因此为空列表 感谢您的澄清 :) 我现在没有得到的是“适用于find
而不适用于 find_all
”部分,但它并不重要
这仍然没有意义。 find
只需调用 find_all
并获取第一项。你可以这样做soup.find_all('ix:nonfraction', limit=1)
,它会返回一个结果。
是的,find
实际上就是这样做的。以上是关于BeautifulSoup.find_all() 方法不适用于命名空间标签的主要内容,如果未能解决你的问题,请参考以下文章
Beautifulsoup find_all 返回一个空列表