Python爬取小说网站下载小说

Posted 2020-10-29 vhyz

1前言

这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的

因为这种网站基本没有反爬虫机制的，所以可以直接爬取

该小程序以该网站http://www.126shu.com/15/下载全职法师为例

2.requests库

文档：http://www.python-requests.org/en/master/community/sponsors/

requests库非常得简单好用，他可以向网站发送请求，接收信息

最简单的一个例子即是

r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding

raise_for_status()的功能是若服务器发送404/502之类的错误码raise_for_status()便会抛出异常

r.encoding = r.apparent_encoding这一行语句用于调整编码，encoding为代码猜测出来的编码，可能并不准确

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " HTMLERROR "

3.BeautifulSoup库

BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找

文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

基本用法：

url_list=[]
soup = BeautifulSoup(html,'lxml')
lista = soup.find_all('dd')

找到dd元素的原因是通过F12开发者工具发现每个章节的链接都在该元素中存储

于是可以在每个元素中都可以找到该链接，然后把他放在要返回的列表中

    for Url in lista:
        try:
            url_list.append('http://www.126shu.com/'+Url.a['href'])
        except:
            print('获取连接失败')

4.获取内容

前两步处理完毕后获取了每个章节的链接，接下来就是对每个章节的内容进行处理

通过F12开发者工具我们同样可以发现文本在哪，标题在哪，于是可以写出代码，然后打开文件进行写入

def get_content(url):
    html = get_html(url).replace('<br/>','\n')
    soup = BeautifulSoup(html,'lxml')
    try:
        txt = soup.find('div',id='content').text
        title = soup.find('div','hh').text
        with open('全职法师.txt','a+',encoding = 'utf-8')as f:
            f.write(title+'\n\n')
            f.write(txt)
    except:
        print('ERROR')

5.完整代码

由于我只是下载后面的章节，于是在main()函数中我设置了n变量进行判断

import requests
import time
from bs4 import BeautifulSoup

def get_html(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return " HTMLERROR "
def get_url(url):
    url_list=[]
    html = get_html(url)
    soup = BeautifulSoup(html,'lxml')
    lista = soup.find_all('dd')
    for Url in lista:
        try:
            url_list.append('http://www.126shu.com/'+Url.a['href'])
        except:
            print('获取连接失败')
    return url_list

def get_content(url):
    html = get_html(url).replace('<br/>','\n')
    soup = BeautifulSoup(html,'lxml')
    try:
        txt = soup.find('div',id='content').text
        title = soup.find('div','hh').text
        with open('全职法师.txt','a+',encoding = 'utf-8')as f:
            f.write(title+'\n\n')
            f.write(txt)
    except:
        print('ERROR')
        
def main(url):
    url_list=get_url(url)
    n = 1
    for Url in url_list:
        n = n + 1
        if n>1525:
            get_content(Url)
url = 'http://www.126shu.com/15/'
if __name__ =='__main__':
    main(url)