一个咸鱼的Python爬虫之路：爬取网页图片

Posted 2020-09-17

学完Requests库与Beautifulsoup库我们今天来实战一波，爬取网页图片。依照现在所学只能爬取图片在html页面的而不能爬取由javascript生成的图。
所以我找了这个网站http://www.ivsky.com

 

网站里面有很多的图集，我们就找你的名字这个图集来爬取

 

 

http://www.ivsky.com/bizhi/yourname_v39947/

来看看这个页面的源代码：

可以看到我们想抓取的图片信息在<li> 里面然后图片地址在img里面那么我们这里可以用BeautifulSoup库方法来解析网页并抓取图片信息。

soup =BeautifulSoup(html,‘html.parser‘)
    all_img=soup.find_all(‘img‘)
    for img in all_img:
       src=img[‘src‘]

url方面我们用requests库去获取：

def getHtmlurl(url):         #获取网址
    try:
       r=requests.get(url)
       r.raise_for_status()
       r.encoding=r.apparent_encoding
       return r.text
    except:
        return ""

我们要将图片下载下来并存在本地：

       try:                              #创建或判断路径图片是否存在并下载
           if not os.path.exists(root):
               os.mkdir(root)
           if not os.path.exists(path):
               r = requests.get(img_url)
               with open(path, ‘wb‘) as f:
                   f.write(r.content)
                   f.close()
                   print("文件保存成功")
           else:
               print("文件已存在")
       except:
           print("爬取失败")

整个爬虫的框架与思路：

import requests
from bs4 import BeautifulSoup
import os

def getHtmlurl(url):  #获取网址
pass

def getpic(html): #获取图片地址并下载
pass

def main(): 主函数
pass

这里给出完整代码

import requests
from bs4 import BeautifulSoup
import os

def getHtmlurl(url):         #获取网址
    try:
       r=requests.get(url)
       r.raise_for_status()
       r.encoding=r.apparent_encoding
       return r.text
    except:
        return ""

def getpic(html): #获取图片地址并下载
    soup =BeautifulSoup(html,‘html.parser‘)
    all_img=soup.find_all(‘img‘)
    for img in all_img:
       src=img[‘src‘]
       img_url=src
       print (img_url)
       root=‘D:/pic/‘
       path = root + img_url.split(‘/‘)[-1]
       try:                              #创建或判断路径图片是否存在并下载
           if not os.path.exists(root):
               os.mkdir(root)
           if not os.path.exists(path):
               r = requests.get(img_url)
               with open(path, ‘wb‘) as f:
                   f.write(r.content)
                   f.close()
                   print("文件保存成功")
           else:
               print("文件已存在")
       except:
           print("爬取失败")



def main():
    url=‘http://www.ivsky.com/bizhi/yourname_v39947/‘
    html=(getHtmlurl(url))

    print(getpic(html))
main()

运行代码：

我们可以看到图片都保存在本地了

这就是简单的实战案列，大家可以自己试试。