Python爬虫实战为何如此痴迷Python?还不是因为爱看小姐姐图

Posted 程序猿中的BUG

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫实战为何如此痴迷Python?还不是因为爱看小姐姐图相关的知识,希望对你有一定的参考价值。

爬取目标

网址:绝对领域
在这里插入图片描述

工具使用

开发环境:win10、python3.7
开发工具:pycharm、Chrome
工具包:requests,lxml

项目思路解析

选取你对应的图片分类
在这里插入图片描述
根据分类信息提取到没有图片的超链接,提取出A标签的跳转地址以及图片的标题名字
在这里插入图片描述

def get_url(start_url):
    response = requests.get(start_url, headers=headers).text
    data = etree.html(response)
    new_url = data.xpath('//div[@class="post-module-thumb"]/a/@href')
    for url in new_url:
        yield url

进入详情页面,xpath提取详情页面所有的图片地址:
在这里插入图片描述
发送图片数据请求,保存对应图片数据信息

简易源码分享

import requests
from lxml import etree

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
}


def get_url(start_url):
    response = requests.get(start_url, headers=headers).text
    data = etree.HTML(response)
    new_url = data.xpath('//div[@class="post-module-thumb"]/a/@href')
    for url in new_url:
        yield url


def get_img(url):
    response = requests.get(url, headers=headers).text
    img_data = etree.HTML(response)
    img_url = img_data.xpath('//div[@class="entry-content"]/img/@src')
    for img_url in img_url:
        name = img_url.split("/")[-2] + img_url.split("/")[-1]
        result = requests.get(img_url).content
        with open("图片/" + name, "wb")as f:
            f.write(result)
            print("正在下载", name)


if __name__ == '__main__':
    for i in range(1, 3):
        start_url = "https://www.jdlingyu.com/tuji/hentai/gctt/page/{}".format(i)
        html_url = get_url(start_url)
        for url in html_url:
            get_img(url)

在这里插入图片描述

君羊号:【881744585】欢迎加入《广告勿加,不然你做啥啥不赚钱》最后祝大家学业有成,技术能力能越来越好,收入也越来越多

在这里插入图片描述
在这里插入图片描述

以上是关于Python爬虫实战为何如此痴迷Python?还不是因为爱看小姐姐图的主要内容,如果未能解决你的问题,请参考以下文章

还不知道做什么项目的看这里,总结全网Python入门实战项目

Python爬虫1

正态分布在机器学习中为何如此重要?

Python爬虫编程思想(42):XPath实战:匹配属性

为何你的网络爬虫技术提升缓慢?甚至小白无从下手学习?

python为何如此流行