使用Python爬取煎蛋网妹纸图片

Posted 2020-09-19

import urllib.request
import os
import os.path
import re

def dir(dir_name="images"):
    """设定图片保存目录,基于当前程序运行目录"""
    if os.path.isdir(dir_name):
        os.chdir(dir_name)
    else:
        os.mkdir(dir_name)
        os.chdir(dir_name)    

def saveImage(img, url):
    """保存图片方法"""
    respones = urllib.request.urlopen(url)
    image = respones.read()
    with open(img, "wb") as f:
        f.write(image)

def getURL():
    page_list = []
    """
    可使用列表推导式，这里主要是定义页面的数量，数量越多图片越多
    page_list = [i for i in range(min=1,max=65)]
    """
    for i in range(1,5):
        page_list.append(i)
    return page_list

def getResposen():
    """获取url并对url进行处理，然后保存图片"""
    page_list = getURL()
    for i in page_list:
        res = "http://jandan.net/ooxx/page-"+str(i)+"#comments"
        respones = urllib.request.urlopen(res)
        html = respones.read()
        html = html.decode("utf-8")
        jpg_url = re.findall(r‘<img src=.+?\.jpg‘, html)
        for j in jpg_url:
            s = "http://"+j.split(‘//‘)[1]
            saveImage(s.split("/")[-1],s)
        
dir()
getURL()
getResposen()

注：请在Python 3.6环境下运行

本文出自 “蓝色_风暴” 博客，请务必保留此出处http://270142877.blog.51cto.com/12869137/1928096