BeautifulSoup_第一节

Posted 慵懒的仙人掌

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了BeautifulSoup_第一节相关的知识,希望对你有一定的参考价值。

 源自http://cuiqingcai.com/1319.html

 

import bs4
from bs4 import BeautifulSoup

html = """
<html><head><title>The Dormouse‘s story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse‘s story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

soup = BeautifulSoup(html)
#soup = BeautifulSoup(open(‘index.html))

#print(soup.prettify())
‘‘‘
#Tag  通俗点讲就是 HTML 中的一个个标签
#我们可以利用 soup加标签名轻松地获取这些标签的内容,是不是感觉比正则表达式方便多了?
# 不过有一点是,它查找的是在所有内容中的第一个符合要求的标签
#print(soup.title)

#Tag的name属性
print(soup.name)
print(soup.head.name)
#Tag的attrs属性
#获取p标签的所有属性,返回字典
print(soup.p.attrs)
#获取单个属性
print(soup.p[‘class‘])
print(soup.p.get(‘class‘))

‘‘‘
‘‘‘
#NavigableString         可以遍历的字符串
#获取标签内部的文字
print(soup.p.string)

#BeautifulSoup 对象表示的是一个文档的全部内容.
# 大部分时候,可以把它当作 Tag 对象,是一个特殊的 Tag
# 我们可以分别获取它的类型,名称,以及属性来感受一下
print(type(soup.name))
print(soup.name)
print(soup.attrs)
‘‘‘
‘‘‘
#Comment
#Comment 对象是一个特殊类型的 NavigableString 对象,
# 其实输出的内容仍然不包括注释符号,但是如果不好好处理它,可能会对我们的文本处理造成意想不到的麻烦。
print(soup.a)
print(soup.a.string)
print(type(soup.a.string))

#a 标签里的内容实际上是注释,但是如果我们利用 .string 来输出它的内容,我们发现它已经把注释符号去掉了
#另外我们打印输出下它的类型,发现它是一个 Comment 类型,所以,我们在使用前最好做一下判断
if type(soup.a.string)==bs4.element.Comment:
    print(soup.a.string)
‘‘‘
#6. 遍历文档树
#(1)直接子节点------  .contents   .children属性
#tag 的 .content 属性可以将tag的子节点以-列表-的方式输出
print(soup.head.contents)

#.children它返回的不是一个 list,不过我们可以通过遍历获取所有子节点。
#我们打印输出 .children 看一下,可以发现它是一个 list 生成器对象
print(soup.head.children)
for child in soup.body.children:
    print(child)

#(2)所有子孙节点  .descendants 属性
#运行结果如下,可以发现,所有的节点都被打印出来了,先生最外层的 HTML标签,其次从 head 标签一个个剥离,以此类推。
#一层一层剥开它的标签
for child in soup.descendants:
    print(child)
#(3)节点内容   .string 属性
#如果tag只有一个 NavigableString 类型子节点,那么这个tag可以使用 .string 得到子节点。
# 如果一个tag仅有一个子节点,那么这个tag也可以使用 .string 方法,输出结果与当前唯一子节点的 .string 结果相同。
#也就是说 如果一个标签里面没有标签了,那么 .string 就会返回标签里面的内容。如果标签里面只有唯一的一个标签了,那么 .string 也会返回最里面的内容
print(soup.head.string)
print(soup.title.string)
#如果tag包含了多个子节点,tag就无法确定,string 方法应该调用哪个子节点的内容, .string 的输出结果是 None
print(soup.html.string)

#(4)多个内容 .strigs  .stripped_strings 属性
#.strings  获取多个内容,不过需要遍历获取
for strings in soup.strings:
    print(repr(strings))
# .stripped_strings  输出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白内容
for strings in soup.stripped_strings:
    print(repr(strings))
#(5)父节点  .parent 属性

p = soup.p
print(p.parent.name)

content = soup.head.title.string
print(content.parent.name)
#(6)全部父节点   .parents
content = soup.head.title.string
for parent in content.parents:
    print(type(parent))
    print(parent.name)

  

以上是关于BeautifulSoup_第一节的主要内容,如果未能解决你的问题,请参考以下文章

第一节数据绑定

机器学习_第一节_numpy

第十一章第一节 功

python3+beautifulSoup4.6抓取某网站小说基础功能设计

第十章第一节 浮力

生成器(第一节)