爬虫模块BeautifulSoup

Posted 2020-10-01 helenMemery

中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#

1.1      安装BeautifulSoup模块和解析器

1)         安装BeautifulSoup

         pip install beautifulsoup4

2)         安装解析器

         pip install lxml

　　pip install html5lib

 

 

 

1.2      对象种类

• Tag :   标签对象，如：<p class="title"><b>yoyoketang</b></p>，这就是一个标签
• NavigableString ：字符对象，如：这里是我的微信公众号：yoyoketang
• BeautifulSoup   ：就是整个html对象
• Comment    ：注释对象，如：!-- for HTML5 --，它其实就是一个特殊NavigableString

 

1.3      常用方法

# coding:utf-8
__author__ = \'Helen\'
\'\'\'
description:爬虫模块BeautifulSoup学习
\'\'\'
import requests
from bs4 import BeautifulSoup

r = requests.get("https://www.baidu.com/")
soup = BeautifulSoup(r.content,\'html5lib\')
print soup.a	#  根据tab名输出，只输出第一个
print soup.find(\'a\')	#	同上
print soup.find_all(\'a\')	# 输出所有a元素
	# 找出对应的tag，再根据元素属性找内容
print soup.find_all(\'a\',{\'href\':\'https://www.hao123.com\',\'name\':\'tj_trhao123\'})
# .contents(tag对象contents可以获取所有的子节点，返回的是list,获取该元素的直接子节点)
print soup.find(\'a\').contents[0]	# 输出第一个节点
print soup.find(\'div\',id=\'u1\').contents[1]	# 输出第二个节点
# .children(点children这个生成的是list对象，跟上面的点contents功能一样,但是不能通过下标读，只能for循环读)
for i in soup.find(\'div\',id=\'u1\').children:
	print i
# .descendants(获取所有的子孙节点)
for i in soup.find(class_=\'head_wrapper\').descendants:
	print i