Python3网络爬虫：使用Beautiful Soup爬取小说

Posted Jack-Cui

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python3网络爬虫：使用Beautiful Soup爬取小说相关的知识，希望对你有一定的参考价值。

转载请注明作者和出处：http://blog.csdn.net/c406495762
运行平台： Windows
Python版本： Python3.x
IDE： Sublime text3

一、Beautiful Soup简介

    简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：

  • Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。

  • Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。

  • Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

    废话不多说，直接开始动手吧！

二、实战

1.背景介绍

    小说网站-笔趣看：
    URL：http://www.biqukan.com/

    笔趣看是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。因此，本次实战就是从该网站爬取并保存一本名为《一念永恒》的小说，该小说是耳根正在连载中的一部玄幻小说。PS：本实例仅为交流学习，支持耳根大大，请上起点中文网订阅。

2.Beautiful Soup安装

    我们我可以使用pip3或者easy_install来安装，在cmd命令窗口中的安装命令分别如下：

a)pip3安装

pip3 install beautifulsoup4

b)easy_install安装

easy_install beautifulsoup4

3.预备知识

    更为详细内容，可参考官方文档：
    URL：http://beautifulsoup.readthedocs.io/zh_CN/latest/

a)创建Beautiful Soup对象

from bs4 import BeautifulSoup

#html为解析的页面获得html信息,为方便讲解，自己定义了一个html文件

html = """
<html>
<head>
<title>Jack_Cui</title>
</head>
<body>
<p class="title" name="blog"><b>My Blog</b></p>
<li><!--注释--></li>
<a href="http://blog.csdn.net/c406495762/article/details/58716886" class="sister" id="link1">Python3网络爬虫(一)：利用urllib进行简单的网页抓取</a><br/>
<a href="http://blog.csdn.net/c406495762/article/details/59095864" class="sister" id="link2">Python3网络爬虫(二)：利用urllib.urlopen发送数据</a><br/>
<a href="http://blog.csdn.net/c406495762/article/details/59488464" class="sister" id="link3">Python3网络爬虫(三)：urllib.error异常</a><br/>
</body>
</html>
"""

#创建Beautiful Soup对象
soup = BeautifulSoup(html,'lxml')

    如果将上述的html的信息写入一个html文件，打开效果是这样的(<!–注释–>为注释内容，不会显示)：