BeautifulSoup.find_all() 方法不适用于命名空间标签

Posted

技术标签:

【中文标题】BeautifulSoup.find_all() 方法不适用于命名空间标签【英文标题】:BeautifulSoup.find_all() method not working with namespaced tags 【发布时间】:2017-11-24 14:32:33 【问题描述】:

我今天在使用 BeautifulSoup 时遇到了一个非常奇怪的行为。

我们来看一个很简单的html sn-p:

<html><body><ix:nonfraction>lele</ix:nonfraction></body></html>

我正在尝试使用 BeautifulSoup 获取 &lt;ix:nonfraction&gt; 标记的内容。

使用find 方法时一切正常:

from bs4 import BeautifulSoup

html = "<html><body><ix:nonfraction>lele</ix:nonfraction></body></html>"

soup = BeautifulSoup(html, 'lxml') # The parser used here does not matter

soup.find('ix:nonfraction')

>>> <ix:nonfraction>lele</ix:nonfraction>

但是,当尝试使用 find_all 方法时,我希望返回一个包含该单个元素的列表,但事实并非如此!

soup.find_all('ix:nonfraction')
>>> []

事实上,find_all 似乎每次在我正在搜索的标签中出现冒号时都会返回一个空列表。

我已经能够在两台不同的计算机上重现该问题。

有没有人有解释,更重要的是,有解决方法? 我需要使用find_all 方法只是因为我的实际情况需要我在整个html 页面上获取所有这些标签。

【问题讨论】:

ix: 不是标签的名字,它是命名空间。 @WillemVanOnsem 根据***.com/questions/3058912/…,您应该能够使用命名空间标签名称。 @Barmar:是的,我更多地指的是标题:这些不是带有冒号的标记名,而是带有明确命名空间的标记。 忘了补充说我自己从未使用过 html :) 编辑了问题的标题以使用正确的术语,如果我仍然太不精确,请随时告诉我 【参考方案1】:

@yosemite_k 的解决方案之所以有效,是因为在 bs4 的源代码中,它跳过了导致此行为的某个条件。事实上,您可以做许多变化,从而产生相同的结果。例子:

soup.find_all("ix:nonfraction")
soup.find_all('ix:nonfraction', limit=1)
soup.find_all('ix:nonfraction', text=True)

下面是来自beautifulsoup 源代码的sn-p,它显示了当您调用findfind_all 时会发生什么。你会看到find 只是用limit=1 调用find_all。在_find_all 中,它检查一个条件:

if text is None and not limit and not attrs and not kwargs:

如果它达到那个条件,那么它最终可能会降到这个条件:

# Optimization to find all tags with a given name.
if name.count(':') == 1:

如果它成功了,那么它会重新分配name

# This is a name with a prefix.
prefix, name = name.split(':', 1)

这就是你的行为不同的地方。只要find_all 不满足任何先验条件,那么您就会找到该元素。

beautifulsoup4==4.6.0

def find(self, name=None, attrs=, recursive=True, text=None,
         **kwargs):
    """Return only the first child of this Tag matching the given
    criteria."""
    r = None
    l = self.find_all(name, attrs, recursive, text, 1, **kwargs)
    if l:
        r = l[0]
    return r
findChild = find

def find_all(self, name=None, attrs=, recursive=True, text=None,
             limit=None, **kwargs):
    """Extracts a list of Tag objects that match the given
    criteria.  You can specify the name of the Tag and any
    attributes you want the Tag to have.

    The value of a key-value pair in the 'attrs' map can be a
    string, a list of strings, a regular expression object, or a
    callable that takes a string and returns whether or not the
    string matches for some custom definition of 'matches'. The
    same is true of the tag name."""

    generator = self.descendants
    if not recursive:
        generator = self.children
    return self._find_all(name, attrs, text, limit, generator, **kwargs)


def _find_all(self, name, attrs, text, limit, generator, **kwargs):
    "Iterates over a generator looking for things that match."

    if text is None and 'string' in kwargs:
        text = kwargs['string']
        del kwargs['string']

    if isinstance(name, SoupStrainer):
        strainer = name
    else:
        strainer = SoupStrainer(name, attrs, text, **kwargs)

    if text is None and not limit and not attrs and not kwargs:
        if name is True or name is None:
            # Optimization to find all tags.
            result = (element for element in generator
                      if isinstance(element, Tag))
            return ResultSet(strainer, result)
        elif isinstance(name, str):
            # Optimization to find all tags with a given name.
            if name.count(':') == 1:
                # This is a name with a prefix.
                prefix, name = name.split(':', 1)
            else:
                prefix = None
            result = (element for element in generator
                      if isinstance(element, Tag)
                        and element.name == name
                      and (prefix is None or element.prefix == prefix)
            )
            return ResultSet(strainer, result)
    results = ResultSet(strainer)
    while True:
        try:
            i = next(generator)
        except StopIteration:
            break
        if i:
            found = strainer.search(i)
            if found:
                results.append(found)
                if limit and len(results) >= limit:
                    break
    return results

【讨论】:

哇,感谢您的努力!我会接受你的解决方案,因为它回答了它不起作用的原因和(实际上是几个)解决方法【参考方案2】:

将标签名称留空并使用 ix 作为属性。

soup.find_all("ix:nonfraction") 

效果很好

编辑:'ix:nonfraction' 不是标签名称,因此 soup.find_all("ix:nonfraction") 为不存在的标签返回了一个空列表。

【讨论】:

我回到了文档中,仍然不明白为什么会这样,但它确实有效!谢谢 很高兴为您提供帮助。第一个参数是标签名称,您要求的是不存在的标签,因此为空列表 感谢您的澄清 :) 我现在没有得到的是“适用于 find 而不适用于 find_all”部分,但它并不重要 这仍然没有意义。 find 只需调用 find_all 并获取第一项。你可以这样做soup.find_all('ix:nonfraction', limit=1),它会返回一个结果。 是的,find 实际上就是这样做的。

以上是关于BeautifulSoup.find_all() 方法不适用于命名空间标签的主要内容,如果未能解决你的问题,请参考以下文章

Beautifulsoup find_all 返回一个空列表

BeautifulSoup find_all 仅限于 50 个结果?

BeautifulSoup find_all 方法没有泛化

为啥使用 BeautifulSoup find_all 方法会导致错误(列表索引超出范围)?