第三节:Web爬虫之BeautifulSoup解析库
Posted 懒惰的小松鼠
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了第三节:Web爬虫之BeautifulSoup解析库相关的知识,希望对你有一定的参考价值。
Beautiful Soup官方说明:
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。
以上是关于第三节:Web爬虫之BeautifulSoup解析库的主要内容,如果未能解决你的问题,请参考以下文章
第三百二十三节,web爬虫,scrapy模块以及相关依赖模块安装
第三百三十三节,web爬虫讲解2—Scrapy框架爬虫—Scrapy模拟浏览器登录—获取Scrapy框架Cookies
python爬虫之html解析Beautifulsoup和Xpath