Pythonpython3实现网页爬虫下载图片
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pythonpython3实现网页爬虫下载图片相关的知识,希望对你有一定的参考价值。
import re import urllib.request # ------ 获取网页源代码的方法 --- def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html # ------ getHtml()内输入任意帖子的URL ------ html = getHtml("https://tieba.baidu.com/p/5352556650") # ------ 修改html对象内的字符编码为UTF-8 ------ html = html.decode(‘UTF-8‘) # ------ 获取帖子内所有图片地址的方法 ------ def getImg(html): # ------ 利用正则表达式匹配网页内容找到图片地址 ------ reg = r‘src="([.*\S]*\.jpg)"‘ imgre = re.compile(reg); imglist = re.findall(imgre, html) return imglist imgList = getImg(html) imgName = 0 for imgPath in imgList: # ------ 这里最好使用异常处理及多线程编程方式 ------ try: f = open(‘D:\\Temp\\‘+ str(imgName)+".jpg", ‘wb‘) f.write((urllib.request.urlopen(imgPath)).read()) print(imgPath) f.close() except Exception as e: print(imgPath+" error") imgName += 1 print("All Done!")
以上是关于Pythonpython3实现网页爬虫下载图片的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫技术(从网页获取图片)+HierarchicalClustering层次聚类算法,实现自动从网页获取图片然后根据图片色调自动分类—Jason niu
Python爬虫技术干货,教你如何实现抓取京东店铺信息及下载图片
python爬虫 将在线html网页中的图片链接替换成本地链接并将html文件下载到本地