python网络爬虫之爬取图片

Posted 回忆瞬间

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了python网络爬虫之爬取图片相关的知识,希望对你有一定的参考价值。

今天使用requests和BeautifulSoup爬取了一些图片,还是很有成就感的,注释可能有误,希望大家多提意见

import requests
from bs4 import BeautifulSoup
circle = requests.get(http://travel.quanjing.com/tag/12975/%E9%A9%AC%E5%B0%94%E4%BB%A3%E5%A4%AB)

# 将获取的图片地址依次放入count中
count = []
# 将获取的网页内容放入BeautifulSoup
soup = BeautifulSoup(circle.text, lxml)
# 根据谷歌SelectGadGet这个插件,获取html标签,比如获取:#gallery-list
for item in soup.select(#gallery-list):
    # 用bs4中的find_all获取 #gallery-list 中是否存在 img这个标签
    for img in item.find_all(img):
        print(img, img)
        # m 是 img标签中存在的属性
        img_path = img.get(m)
        count.append(img_path)
# 用enumerate依次取出count中的图片地址 放入v中
for i,v in enumerate(count):
    # 将获取的v值再次放入request中进行与网站相应
    image = requests.get(v)
    # 存取图片过程中,出现不能存储 int 类型,故而,我们对他进行类型转换 str()。w:读写方式打开,b:二进制进行读写。图片一般用到的都是二进制。
    with open(D:\\img+str(i)+.jpg, wb) as file:
        # content:图片转换成二进制,进行保存。
        file.write(image.content)
    print(i)

 

以上是关于python网络爬虫之爬取图片的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫之爬取页面内容图片以及用selenium爬取

Python爬虫之爬取煎蛋网妹子图

python爬虫实例详细介绍之爬取大众点评的数据

Python爬虫实战一之爬取糗事百科段子

芝麻HTTP:Python爬虫实战之爬取糗事百科段子

Python爬虫实战二之爬取百度贴吧帖子