python爬取优美图库海量图片,附加代码,一键爬取

Posted python0921

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬取优美图库海量图片,附加代码,一键爬取相关的知识,希望对你有一定的参考价值。

 

技术图片

 

 

优美高清图片为大家提供高清美女套图赏析,非高清不录入,大家的网速要给力。

今天教大家爬取优美图库网站中高质量的图片!!

简单易上手哦~

使用工具:

Python 3.6

pycharm

相关环境:

requests

parsel

xpath

主要内容:

1、系统分析目标网页

2、html标签数据解析方法(xpath)

3、海量图片数据一键保存

爬虫的一般思路:

1、确定爬取的url路径,headers参数

2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据

3、析数据 -- parsel 转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理

4、保存数据

代码如下:

import requests
import parsel

# 1、确定爬取的url路径,headers参数
base_url = https://www.umei.cc/meinvtupian/meinvxiezhen/
headers = {user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36}

# 2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据
response = requests.get(base_url, headers=headers)
response.encoding = response.apparent_encoding  # 自动识别响应对象的编码
html = response.text
# print(html)

# 3、解析数据 -- parsel  转化为Selector对象,Selector对象具有xpath的方法,能够对转化的数据进行处理
# 3、1 转换数据类型
parse = parsel.Selector(html)
# 3、2 解析数据
href_list = parse.xpath(//div[@class="TypeList"]/ul/li/a/@href).extract()
# print(href_list)

for href in href_list:
    # print(href)
    # 再次发送图片请求
    href_data = requests.get(href, headers=headers).text

    # 解析图片数据
    img = parsel.Selector(href_data)
    img_src = img.xpath(//div[@class="ImageBody"]/p/a/img/@src).extract_first()
    # print(img_src)

    # 发送图片的url
    img_data = requests.get(img_src, headers=headers).content

    # 4、保存数据
    # 1、准备文件名
    file_name = img_src.split(/)[-1]
    # print(file_name)

    # 3、保存文件
    with open(img + file_name, wb) as f:
        print(正在保存文件:{}.format(file_name))
        f.write(img_data)

 

效果如下:

技术图片

 

如果你处于想学Python或者正在学习Python,Python的教程不少了吧,但是是最新的吗?说不定你学了可能是两年前人家就学过的内容,在这小编分享一波2020最新的Python教程。获取方式,私信小编 “ 资料 ”,即可免费获取哦!

以上是关于python爬取优美图库海量图片,附加代码,一键爬取的主要内容,如果未能解决你的问题,请参考以下文章

[python学习] 简单爬取图片站点图库中图片

python lxml xpath爬取优美图库的妹子图代码

一个爬取百度图库程序

超详细Python-一键爬取图片音频视频资源

Python爬虫一键爬取海量表情包,分分钟碾压斗图狂魔!附源码

多线程爬取 unsplash 图库