python对网站的html文件进行搜寻

Posted 2020-11-11 朵朵奇fa

import requests
import bs4#导入bs4模块
res=requests.get(‘http://www.baidu.com‘)#下载这个网址，也就是说下载这个网址上的HTML
res.raise_for_status()#检查下载是否成功 不成功的话就是会出错的
guoshun=bs4.BeautifulSoup(res.text,‘html.parser‘)#利用BeautifulSoup返回一个对象 有了这个对象以后就可以对HTML文件进行筛选了
#有了BeautifukSoup对象之后，就可以利用它的方法，定位HTML文档中的位置
#这个模块以后的作用就像当于是正则表达式，但是要比正则表达式好用
el=guoshun.select(‘#lg‘)#BeautifulSoup的对像有一个select方法，select方法将会返回一个tag对象的列表,注意这里返回的是列表
type(el)
print(len(el))#输出列表的长度
print(el[0])#输出列表中的第一个元素
#总之 就是要记住 select将会返回所有匹配到对象的一个列表
examplfile=open(‘example.html‘)
shunshun=bs4.BeautifulSoup(examplfile.read(),‘html.parser‘)#不加上html.parser这个语句就有可能会出错，这个也是根据python的出错提示写上去的
el2=shunshun.select("#author")
print(len(el2))
print(el2)
print(el2[0].getText())#getText方法的作用是显示文本，那么html中的文本是什么意思 要看课本