第3关 BeautifulSoup实践

Posted 2023-04-25

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了第3关 BeautifulSoup实践相关的知识，希望对你有一定的参考价值。

参考技术A （1）目标网站： http://www.xiachufang.com/explore/ ；

（2）网站协议： http://www.xiachufang.com/robots.txt （目标网站 + robots.txt 可查看目标网站的页面爬取许可）；

（3）项目目标：爬取热门菜谱清单，内含：菜名、原材料、详细烹饪流程的URL。

（1）确定数据位置

（2）提取数据

requests.get() 获取数据，BeautifulSoup 解析数据。

根据我们【过程分析】中所有菜谱的共同标签 class_='info pure-u'，我们用 find_all 获取所有菜谱（find_all 获取后返回的是一个列表），下面我们提取出第0个父级标签中的第0个<a>标签，并输出菜名和URL：

依旧是根据我们的内容定位我们的标签，可以找到菜名是在我们的标签 a 中，再用 text 取到该标签对应的菜名。

我们发现在标签 a 后面的 href 有我们需要的链接，但是不完整，所以需要拼接后才能得到我们要的菜谱 URL。

我们可以看到我们的食材是在 p 中，但是只靠这个是不够的的，所以我们要精确取值，可以看到食材对应的 class 属性为 ing ellipsis。

创建一个空列表，启动循环，循环长度等于 <p> 标签的总数——我们可以借助 range(len()) 语法。

孤荷凌寒自学python第六十九天学习并实践beautifulsoup对象用法2

（完整学习过程屏幕记录视频地址在文末）

今天继续学习beautifulsoup对象的属性与方法等内容。

一、今天进一步了解到的BeautifulSoup模块中的一些用法小结：

Html标签对象.parent

#返回直接上一级父级对象整体

Html标签对象.parents

#parents返回从a对象的直接父级对象开始的各个逐个上升的父级直到<html></html>级为止的宗谱链，是一个生成器

Html标签对象.next_sibling

#获取当前Html标签对象的下一个平级兄弟对象本身

Html标签对象.previous_sibling

#获取当前Html标签对象的上一个平级兄弟对象本身

Html标签对象.next_siblings

#next_siblings返回和当前Html标签对象平级的在此之后的所有Html标签对象的一个生成器

Html标签对象.previous_siblings

#previous_siblings返回和当前Html标签对象平级的在此之前的所有Html标签对象的一个生成器

7.应用可能最多的方法是搜索Html文档树中的符合指定特征的Html标签对象

（1）搜索指定的tag标签

1）

BeautifulSoup对象.find_all(‘html标签tag‘)

html标签tag如：a div p span ……

#执行此方法后返回的是一个bs4.element.ResultSet集合对象，此对象可以理解为列表（list）,但此集合中的每一个子元素对象，都可以再次执行.find_all方法，就类似于是BeautifulSoup对象的片断对象一般。

2）搜索tag标签时，还可以指定第二个参数，指明此Html标签对象的一些属性值的特征

BeautifulSoup对象.find_all(‘ html标签tag‘,attrs={要筛选的一些属性字段及值组成的字典对象})

#第二个参数传入一个字典，即要筛选的Html标签对象的属性条件，因为BeautifulSoup对象将任何一个Html标签对象的属性都存储在内置的一个字典对象中

三、我的测试代码：

```

import requests

from bs4 import BeautifulSoup

import _mty

strHtml=‘‘‘

<html><head><title>孤荷凌寒的测试网页qq：578652607</title>

<style>

.title{

font-size:20px;

}

.story{

font-size:12px;

}

#divfirst{

font-size:30px;

}

</style>

</head>

<body>

现在网页的BODY部分开始：

现在第一个p标签马上开始：

<p id="firstptag" class="title"><b>这是在第一个P标签中的TEXT</b></p>

<p class="story">现在分享一些网站链接：

</br>

<a href="http://www.baidu.com/" class="sister"

id="link1">1.百度链接</a>,

<a href="http://www.taobao.com/" class="sister"

id="link2">2.淘宝链接</a> and

<a href="3.http://www.jianshu.com/" class="sister"

id="link3">3。简书链接</a>;

</br>

所有链接分享完了</p>

现在第一个P标签已结束。

</div>

接下来第二个DIV开始

<a href="http://www.lhghroom.cn/" id="a_ghlh"><span id="spanone">4.孤荷凌寒的小站</span></a>

</p>

</div>

现在body部分结束了

</body>

</html>

‘‘‘

def msgbox(info,titletext=‘孤荷凌寒的DB模块对话框QQ578652607‘,style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

def myfirst(s,h):

#r=requests.get(s,headers=h)

#print(r.text) #r.text得到的是页面源html代码

bs=BeautifulSoup(strHtml,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

#-----测试用法

#strnew=bs.prettify() #对html源代码进行了美化。

#print(strnew)

#-------访问html文档中第一个指定tag标识的html标签元素的方法-----------

#print(bs.p) #这种方法将返回html文档中的第一个p标签本身这个对象，不是文本，但Print之后会显示为如：【<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>】

#print(bs.p) #重复执行，也只是返回html文档中的第一个P标签

#msgbox(str(bs.a)) #bs.a 返回的是一个对象，而不是文本字符串

a=bs.a #得到了Html文档中的第一个a标签本身这个对象

#-----获取Html标签元素对象的属性，及相关对象--------------

#---以字典的方式存放着Html标签元素对象的属性----

#msgbox(a[‘href‘]) #a的Html标签元素对象的链接地址这个属性

#msgbox(a.get(‘href‘))

#----标签的内嵌内容（innertext)存放在Html标签元素对象的string属性中

#msgbox(a.string)

#---获取一个Html标签元素对象下的所有子对象集-------------------------------------------

#elements=bs.body.contents #返回的是列表，列表中的元素，包括了此Html标签元素对象下的直属一级子对象。

#print(elements)

#elements=bs.div.children #返回的是一个迭代器对象,其中的内容与上一个属性获取的一致

#print(list(elements))

#----获取父对象--------------

#print(a.parent) #返回直接上一级父级对象整体

#g=a.parents #parents返回从a对象的直接父级对象开始的各个逐个上升的父级直到<html></html>级为止的宗谱链，是一个生成器

#for i in g:

# msgbox(str(i))

#-----获取平级兄弟对象-----------------

#m=a.next_sibling #获取当前Html标签对象的下一个平级兄弟对象本身

#m=m.previous_sibling #获取当前Html标签对象的上一个平级兄弟对象本身

#msgbox(str(m))

#------

#g=a.next_siblings #next_siblings返回和当前Html标签对象平级的在此之后的所有Html标签对象的一个生成器

#msgbox(str(type(g)))

#for i in g:

# msgbox(str(i))

#m=a.next_sibling.next.next_sibling.next_sibling.next_sibling

#g=m.previous_siblings #previous_siblings返回和当前Html标签对象平级的在此之前的所有Html标签对象的一个生成器

#for i in g:

# msgbox(str(i))

#---搜索Html文档树中的符合指定特征的Html标签对象---------------

#===============================================

#------搜索tag标签------------------

#alla=bs.find_all(‘a‘) #返回的是一个bs4.element.ResultSet集合对象，此对象可以理解为LIST,但集合中的每一个子元素对象，都可以再次执行.find_all方法，就类似于是BeautifulSoup对象的片断对象一般。

#print(type(alla))

#msgbox(str(type(alla)))

#for i in alla:

# msgbox(str(i))

#--------搜索tag标签时，还可以指定第二个参数，指明此Html标签对象的一些属性值的特征----

alla=bs.find_all(‘a‘,attrs={‘id‘:‘a_ghlh‘}) #第二个参数传入一个字典，即要筛选的Html标签对象的属性条件，因为bs对象将任何一个Html标签对象的属性都存储在内置的一个字典对象中

for i in alla:

msgbox(str(i))

strurl=‘http://www.dianping.com/‘

header={

‘Host‘:‘www.dianping.com‘,

‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36‘

}

myfirst(strurl,header)

```

——————————

今天整理的学习笔记完成，最后例行说明下我的自学思路：

根据过去多年我自学各种编程语言的经历，认为只有真正体验式，解决实际问题式的学习才会有真正的效果，即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑并学习vb6编程语言，没有学习同伴，也没有高师在上，甚至电脑都是孤岛（乡村那时还没有网络），有的只是一本旧书，在痛苦的自学摸索中，我找到适应自己零基础的学习方法：首先是每读书的一小节就作相应的手写笔记，第二步就是上机测试每一个笔记内容是否实现，其中会发现书中讲的其实有出入或错误，第三步就是在上机测试之后，将笔记改为电子版，形成最终的修订好的正确无误的学习笔记。

通过反复尝试错误，在那个没有分享与交流的黑暗时期我摸黑学会了VB6，尔后接触了其它语言，也曾听过付费视频课程，结果发现也许自己学历果然太低，就算是零基础的入门课程，其实也难以跟上进度，讲师的教学多数出现对初学者的实际情况并不了解的情况，况且学习者的个体也存在差异呢？当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学，继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路，没有导师直接输入式的教学来得直接，好在网络给我们带来无限搜索的机会，大家在网络上的学习日志带给我们共享交流的机会，而QQ群等交流平台、网络社区的成立，我们可以一起自学，互相批评交流，也可以获得更有效，更自主的自学成果。

于是我以人生已过半的年龄，决定继续我的编程自学之路，开始学习python，只希望与大家共同交流，一个人的独行是可怕的，只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点！欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在，于是本来在孤独学习之路上的我们变得不再孤独，因为网络就是一个新的客厅，我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现，更希望大家能够对我学习过程中的错误给予指点——是的，这样我就能有许多免费的高师了——这也是分享时代，社区时代带来的好福利，我相信大家会的，是吧！

根据完全共享的精神，开源互助的理念，我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制，但因为4K高清文件太大均超过5G以上，所以无法上传至网络，如有需要可联系我QQ578652607对传，乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

我的学习过程录像百度盘地址分享如下：（清晰度：1280x720）

链接：https://pan.baidu.com/s/1kFPBDZH6pscVFbM6SkPnnQ

提取码：b6mr

Bilibili:

https://www.bilibili.com/video/av40434837/