Pythonpython3实现网页爬虫下载图片

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Pythonpython3实现网页爬虫下载图片相关的知识,希望对你有一定的参考价值。

import re
import urllib.request

# ------ 获取网页源代码的方法 ---
def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

# ------ getHtml()内输入任意帖子的URL ------
html = getHtml("https://tieba.baidu.com/p/5352556650")
# ------ 修改html对象内的字符编码为UTF-8 ------
html = html.decode(UTF-8)

# ------ 获取帖子内所有图片地址的方法 ------
def getImg(html):
    # ------ 利用正则表达式匹配网页内容找到图片地址 ------
    reg = rsrc="([.*\S]*\.jpg)"
    imgre = re.compile(reg);
    imglist = re.findall(imgre, html)
    return imglist

imgList = getImg(html)
imgName = 0
for imgPath in imgList:
    # ------ 这里最好使用异常处理及多线程编程方式 ------
    try:
        f = open(D:\\Temp\\+ str(imgName)+".jpg", wb)
        f.write((urllib.request.urlopen(imgPath)).read())
        print(imgPath)
        f.close()
    except Exception as e:
        print(imgPath+" error")
    imgName += 1

print("All Done!")

 

以上是关于Pythonpython3实现网页爬虫下载图片的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫技术(从网页获取图片)+HierarchicalClustering层次聚类算法,实现自动从网页获取图片然后根据图片色调自动分类—Jason niu

Python爬虫技术干货,教你如何实现抓取京东店铺信息及下载图片

Python学习---网页爬虫[下载图片]

python爬虫 将在线html网页中的图片链接替换成本地链接并将html文件下载到本地

python3 网页爬虫图片下载无效链接处理 try except

Python爬虫下载美女图片(多种方法)