爬无止境:用Python爬取漫画岛,我又刑了!!
Posted yunyun云芸
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬无止境:用Python爬取漫画岛,我又刑了!!相关的知识,希望对你有一定的参考价值。
一、效果展示
首先是我们想要爬取的漫画网页:http://www.manhuadao.cn/
网页截图:
其次是爬取下来的效果:
二、实现原理
1、准备:需要vscode或者其他能够编译运行python的软件,推荐python版本3.X ,否则有可能出现编译问题。
下载所需模块:win+R进入命令行,输入pipinstall <模块名>即可下载。例如:
pip install beautifulsoup4
2、原理: 模拟浏览器点击->打开漫画网页链接->获取网页源码->定位每一章漫画的链接->模拟点击->获取图片页面源码->定位图片链接->下载图片
三、操作过程
1、引入模块
2、模拟浏览器访问网页
1.这里我们打开漫画的目录页,如下: url = ”http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628“
,此链接就是目录页链接。
2.按F12
打开此网页的源码我用的是谷歌浏览器,选中上方NetWork
,Ctrl+R
刷新。
3.找到加载网页的源码文件,点击Headers
,如下图: StatusCode表示网页返回的代码,值为200时表示访问成功。
4.headers中的参数为下面红框User-Agent。
response = requests.get(url=url, headers=headers) # 模拟访问网页
print(response) # 此处应输出 <Response [200]>
print(response.text) # 输出网页源码
两个输出分别输出:
输出返回200表示访问成功。
5.将html代码存入 data 中,xpath定位每一章链接。点击上方Element,点击:
将鼠标移至目录处:
右边代码区域出现每一章链接:
data = etree.HTML(response.text)
# tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
tp = data.xpath('//*[@class="yesReader"]/@href')
zhang_list = tp # tp为链接列表
输出zhang_list,结果如下:
6.获取图片链接(获取方式同上一步),点进第一章,同上一步,寻找到图片链接:
i=1
for next_zhang in zhang_list: # 在章节列表中循环
i=i+1
j=0
hui_url = r_url+next_zhang
name1 = "第"+str(i)+"回"
file = 'C:/Users/wangyueke/Desktop/'+keyword+'//'.format(name1) # 创建文件夹
if not os.path.exists(file):
os.makedirs(file)
print('创建文件夹:', file)
response = requests.get(url=hui_url, headers=headers) # 模拟访问每一章链接
data = etree.HTML(response.text)
# tp = data.xpath('//div[@class="no-pic"]//img/@src')
tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src') # 定位
ye_list = tp
四、下载图片
for k in ye_list: # 在每一章的图片链接列表中循环
download_url = tp[j]
print(download_url)
j=j+1
file_name="第"+str(j)+"页"
response = requests.get(url=download_url) # 模拟访问图片链接
with open(file+file_name+".jpg","wb") as f:
f.write(response.content)
五、参考源码
import requests
import json
import time
import os
from lxml import etree
from bs4 import BeautifulSoup
def main():
keyword="非人哉"
file = 'E:/'.format(keyword)
if not os.path.exists(file):
os.mkdir(file)
print('创建文件夹:',file)
r_url="http://www.manhuadao.cn/"
url = "http://www.manhuadao.cn/Home/ComicDetail?id=58ddb07827a7c1392c234628"
headers = # 模拟浏览器访问网页
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) \\\\Chrome/75.0.3770.142 Safari/537.36'
response = requests.get(url=url, headers=headers)
# print(response.text) # 输出网页源码
data = etree.HTML(response.text)
# tp = data.xpath('//ul[@class="read-chapter"]/li/a[@class="active"]/@href')
tp = data.xpath('//*[@class="yesReader"]/@href')
zhang_list = tp
i=1
for next_zhang in zhang_list:
i=i+1
j=0
hui_url = r_url+next_zhang
name1 = "第"+str(i)+"回"
file = 'C:/Users/wangyueke/Desktop/'+keyword+'//'.format(name1) # 这里需要自己设置路径
if not os.path.exists(file):
os.makedirs(file)
print('创建文件夹:', file)
response = requests.get(url=hui_url, headers=headers)
data = etree.HTML(response.text)
# tp = data.xpath('//div[@class="no-pic"]//img/@src')
tp = data.xpath('//div[@class="main-content"]//ul//li//div[@class="no-pic"]//img/@src')
ye_list = tp
for k in ye_list:
download_url = tp[j]
print(download_url)
j=j+1
file_name="第"+str(j)+"页"
response = requests.get(url=download_url)
with open(file+file_name+".jpg","wb") as f:
f.write(response.content)
if __name__ == '__main__':
main()
薅羊毛真的特别使人有满足感,感兴趣了解更多有趣的爬虫,关注我,三连,后续更精彩。Python技术交流,接单交流,有趣的源码共享,领取获得。
以上是关于爬无止境:用Python爬取漫画岛,我又刑了!!的主要内容,如果未能解决你的问题,请参考以下文章
#私藏项目实操分享#Python爬虫实战,requests模块,Python实现爬取网站漫画
基于Python实现的ComicReaper漫画自动爬取脚本
教你用python实现34行代码爬取东方财富网信息,爬虫之路,永无止境!!