python爬虫,一段完整的python爬虫批量下载网站图片资源的代码

Posted Iceberg_710815

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫,一段完整的python爬虫批量下载网站图片资源的代码相关的知识,希望对你有一定的参考价值。

# 本程序为爬虫学习代码,成功爬取了漫微网站上的全部图片内容
import re
import os
import requests

def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        print("request failed")

url = http://marvel.mtime.com/ # 漫微网址
web_data = getHTMLText(url)  # web_data保存目标url的html代码内容
res = re.compile(rsrc="(.+?.jpg)") # 定义查询规则,所有以src开头,中间包含任意多个字符的,并且结尾为.jpg的文件被
                                    #提取并保存
reg = re.findall(res, web_data) # 在web_data中找到并提取满足res规则的全部字符串,并保存在reg列表
for i in reg:
    target_url = url + i      # 变量target_url获得图片的url
    try:
        pic = requests.get(target_url).content # 从target_url下载了图片,并以二进制的形式保存在变量pic中
    except:
        print(target_url + can not open)
    res = re.compile(rimages/(.+?.jpg))
    pic_name = re.findall(res, i)[0]  #提取图片文件名,从结果数组第[0]个元素获得具体文件名
    print(pic_name)
    with open(pic_name, wb) as f:
        f.write(pic)

 

以上是关于python爬虫,一段完整的python爬虫批量下载网站图片资源的代码的主要内容,如果未能解决你的问题,请参考以下文章

[python爬虫实例]批量下载荣耀皮肤

[python爬虫实例]批量下载荣耀皮肤

Python网络爬虫实战案例之:7000本电子书下载

利用python爬虫关键词批量下载高清大图

python开发轻量级爬虫

用python批量下载图片