Python爬虫爬取目标小说并保存到本地

Posted dmsj20190707

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫爬取目标小说并保存到本地相关的知识,希望对你有一定的参考价值。

利用Python爬虫爬取目标小说并保存到本地

小说地址:http://book.zongheng.com/showchapter/749819.html(目录地址)

通过小说目录获取小说所有章节对应的url地址,然后逐个访问解析得到每一章节小说的内容,最后保存到本地文件内

文章中的代码只是第一个版本,可以自行优化

例如:使用IP代理池防止IP地址被封禁

  使用多线程对小说章节内容进行爬取可以提高爬取效率,降低运行时间

  构建更加详细的requests请求头

代码还有诸多不足,欢迎指导

  1 import requests
  2 import bs4
  3 from bs4 import BeautifulSoup
  4 import lxml
  5 import urllib
  6 
  7 
  8 def getMuLu(Html):
  9     """
 10     函数getMuLu由主函数传入小说目录网址,经解析后返回每一章节的具体网址
 11     涉及内容:
 12         requests库:进行网页请求
 13         BeautifulSouping库:解析请求返回的网页内容
 14         时间:2020-05-15
 15  16         环境:Windows + python3.8
 17         工具:Pycharm
 18  21 
 22     """
 23     #构建请求头
 24     headers = {
 25         User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36
 26     }
 27     #使用requests中的get方法请求网址并转换为text格式
 28     demo = requests.get(Html)
 29     demo1 = demo.text
 30 
 31     #使用BeautifulSoup库对text格式的网页内容进行解析
 32     soup = BeautifulSoup(demo1, html.parser)
 33 
 34     #将soup变量的值中的所有ID为list的标签返回到MuLu在转换为str类型后再次使用BeautifulSoup库进行解析
 35     MuLu = soup.find_all(class_ = volume-list)
 36     soup1 = BeautifulSoup(str(MuLu), html.parser)
 37 
 38     #对soup1解析后将所有的a标签进行取出并赋值href1
 39     href1 = soup1.find_all(li)
 40     soup2 = BeautifulSoup(str(href1), html.parser)
 41     href2 = soup2.find_all(a)
 42 
 43     #将所有a标签取出后,将a标签中href属性的值存储到列表类型的Web3中
 44     Web3 = []
 45     for link in href2:
 46         Web1 = link.get(href)
 47         Web3.append(Web1)
 48     return Web3
 49 
 50 
 51 def getText(TextUrl):
 52 
 53     """
 54        函数getText由主函数传入小说目录网址,经解析后返回小说目录以及正文
 55        涉及内容:
 56            requests库:进行网页请求
 57            BeautifulSouping库:解析请求返回的网页内容
 58            时间:2020-05-15
 59 
 60        """
 61     i = 0
 62     Mu = []
 63     for i in range(len(TextUrl)):
 64         headers = {
 65             User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36,
 66             Cookie: lianjia_uuid=9d3277d3-58e4-440e-bade-5069cb5203a4; 
 67                       UM_distinctid=16ba37f7160390-05f17711c11c3e-454c0b2b-100200-16ba37f716618b; _smt_uid=5d176c66.5119839a; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2216ba37f7a942a6-0671dfdde0398a-454c0b2b-1049088-16ba37f7a95409%22%2C%22%24device_id%22%3A%2216ba37f7a942a6-0671dfdde0398a-454c0b2b-1049088-16ba37f7a95409%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24latest_referrer_host%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%7D%7D; _ga=GA1.2.1772719071.1561816174; Hm_lvt_9152f8221cb6243a53c83b956842be8a=1561822858; _jzqa=1.2532744094467475000.1561816167.1561822858.1561870561.3; CNZZDATA1253477573=987273979-1561811144-%7C1561865554; CNZZDATA1254525948=879163647-1561815364-%7C1561869382; CNZZDATA1255633284=1986996647-1561812900-%7C1561866923; CNZZDATA1255604082=891570058-1561813905-%7C1561866148; _qzja=1.1577983579.1561816168942.1561822857520.1561870561449.1561870561449.1561870847908.0.0.0.7.3; select_city=110000; lianjia_ssid=4e1fa281-1ebf-e1c1-ac56-32b3ec83f7ca; srcid=eyJ0Ijoie1wiZGF0YVwiOlwiMzQ2MDU5ZTQ0OWY4N2RiOTE4NjQ5YmQ0ZGRlMDAyZmFhODZmNjI1ZDQyNWU0OGQ3MjE3Yzk5NzFiYTY4ODM4ZThiZDNhZjliNGU4ODM4M2M3ODZhNDNiNjM1NzMzNjQ4ODY3MWVhMWFmNzFjMDVmMDY4NWMyMTM3MjIxYjBmYzhkYWE1MzIyNzFlOGMyOWFiYmQwZjBjYjcyNmIwOWEwYTNlMTY2MDI1NjkyOTBkNjQ1ZDkwNGM5ZDhkYTIyODU0ZmQzZjhjODhlNGQ1NGRkZTA0ZTBlZDFiNmIxOTE2YmU1NTIxNzhhMGQ3Yzk0ZjQ4NDBlZWI0YjlhYzFiYmJlZjJlNDQ5MDdlNzcxMzAwMmM1ODBlZDJkNmIwZmY0NDAwYmQxNjNjZDlhNmJkNDk3NGMzOTQxNTdkYjZlMjJkYjAxYjIzNjdmYzhiNzMxZDA1MGJlNjBmNzQxMTZjNDIzNFwiLFwia2V5X2lkXCI6XCIxXCIsXCJzaWduXCI6XCIzMGJlNDJiN1wifSIsInIiOiJodHRwczovL2JqLmxpYW5qaWEuY29tL3p1ZmFuZy9yY28zMS8iLCJvcyI6IndlYiIsInYiOiIwLjEifQ==
 68             }
 69 
 70         QingQiu = urllib.request.urlopen(TextUrl[i]).read()
 71         date = QingQiu.decode(utf-8)
 72 
 73         SoupText = BeautifulSoup(date,html.parser)
 74         #通过解析SoupText获取章节名称
 75         MingCheng = SoupText.find_all(class_ = title_txtbox)
 76         MingCheng1 = BeautifulSoup(str(MingCheng),lxml)
 77         MingCheng2 = MingCheng1.get_text()
 78         ls4 = ‘‘.join(MingCheng2)
 79 
 80         #通过解析SoupText获取章节正文
 81         BiaoTi = SoupText.find_all(class_ = content)     #在全部的html中查找class_ = ‘content‘的div标签
 82 
 83         BiaoTi1 = BeautifulSoup(str(BiaoTi), lxml)
 84         BiaoTi2 = BiaoTi1.find_all(p)     #获取p标签
 85 
 86         #通过遍历p标签获取正文内容
 87         qbs = 0
 88         KongList = []
 89         for qbs in range(len(BiaoTi2)):
 90             ZhangJie = BiaoTi2[qbs]
 91             S = BeautifulSoup(str(ZhangJie), html.parser)
 92             str1 = S.get_text()
 93             KongList.append(str1)
 94             qbs += 1
 95 
 96         #将列表转换为字符串类型
 97         ls3 = ‘‘.join(KongList)
 98         #通过组合返回章节名称以及正文内容
 99 
100         #将两个字符串类型数据组合为一个并返回
101         NeiRong = ls4 + ls3
102 
103 
104         #将所有内容写入列表Mu并返回
105         Mu.append(NeiRong)
106 
107     return Mu
108 
109 def BaoCunText(WenBen):
110     """
111        函数BaoCunText由主函数传入小说目录以及内容,写入txt文件
112        涉及内容:
113            文件处理:
114                 打开,写入,关闭文件
115             for遍历
116         时间:2020-05-16
117        """
118     #打开文件
119     FlieText = open(MiMiShiMing.txt,a,encoding=utf-8)
120     #遍历列表WenBen,并利用索引写入文件,在每章节后换行
121     i = 0
122     for i in range(len(WenBen)):
123         FlieText.write(str(WenBen[i]))
124         FlieText.write(
)
125         print("第{}章写入成功".format(i))
126         i += 1
127     print("写入完成")
128     #关闭文件
129     FlieText.close()
130 
131 if __name__ == __main__:
132     """
133     主函数:调用其他函数以及向函数传值
134 135     时间:2020-5-17
136     
137     
138     """
139 
140     url = http://book.zongheng.com/showchapter/749819.html
141     MuLuLianjie = getMuLu(url)
142     XiaoShuo = getText(MuLuLianjie)
143     BaoCunText(XiaoShuo)

 

以上是关于Python爬虫爬取目标小说并保存到本地的主要内容,如果未能解决你的问题,请参考以下文章

python 爬取网络小说 清洗 并下载至txt文件

,遇到的爬虫问题与解决思路

python入门学习之Python爬取最新笔趣阁小说

python爬取小说

如何用python爬虫从爬取一章小说到爬取全站小说

Python爬虫爬取博客园并保存