python爬虫,一段完整的python爬虫批量下载网站图片资源的代码
Posted Iceberg_710815
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python爬虫,一段完整的python爬虫批量下载网站图片资源的代码相关的知识,希望对你有一定的参考价值。
# 本程序为爬虫学习代码,成功爬取了漫微网站上的全部图片内容 import re import os import requests def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: print("request failed") url = ‘http://marvel.mtime.com/‘ # 漫微网址 web_data = getHTMLText(url) # web_data保存目标url的html代码内容 res = re.compile(r‘src="(.+?.jpg)"‘) # 定义查询规则,所有以src开头,中间包含任意多个字符的,并且结尾为.jpg的文件被 #提取并保存 reg = re.findall(res, web_data) # 在web_data中找到并提取满足res规则的全部字符串,并保存在reg列表 for i in reg: target_url = url + i # 变量target_url获得图片的url try: pic = requests.get(target_url).content # 从target_url下载了图片,并以二进制的形式保存在变量pic中 except: print(target_url + ‘can not open‘) res = re.compile(r‘images/(.+?.jpg)‘) pic_name = re.findall(res, i)[0] #提取图片文件名,从结果数组第[0]个元素获得具体文件名 print(pic_name) with open(pic_name, ‘wb‘) as f: f.write(pic)
以上是关于python爬虫,一段完整的python爬虫批量下载网站图片资源的代码的主要内容,如果未能解决你的问题,请参考以下文章