Python爬虫入门教程:蜂鸟网图片爬取

Posted qingdeng123

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫入门教程:蜂鸟网图片爬取相关的知识,希望对你有一定的参考价值。

1. 蜂鸟网图片--简介

国庆假日结束了,新的工作又开始了,今天我们继续爬取一个网站,这个网站为 http://image.fengniao.com/ ,蜂鸟一个摄影大牛聚集的地方,本教程请用来学习,不要用于商业目的,不出意外,蜂鸟是有版权保护的网站。


技术图片

 

2. 蜂鸟网图片--网站分析

第一步,分析要爬取的网站有没有方法爬取,打开页面,找分页

http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=1&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=2&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=3&not_in_id=5352384,5352410
http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page=4&not_in_id=5352384,5352410

上面的页面发现一个关键的参数page=1这个就是页码了,但是另一个比较头疼的问题是,他没有最后的页码,这样我们没有办法确定循环次数,所以后面的代码编写中,只能使用while

这个地址返回的是JSON格式的数据,这个对爬虫来说,非常友好!省的我们用正则表达式分析了。
技术图片

分析这个页面的头文件,查阅是否有反爬措施

技术图片

发现除了HOST和User-Agent以外,没有特殊的点,大网站就是任性,没啥反爬,可能压根不在乎这个事情。

第二步,分析图片详情页面,在我们上面获取到的JSON中,找到关键地址
技术图片

关键地址打开之后,这个地方有一个比较骚的操作了,上面图片中标注的URL选的不好,恰好是一个文章了,我们要的是组图,重新提供一个新链接 http://image.fengniao.com/slide/535/5352130_1.html#p=1

打开页面,你可能直接去找规律了,找到下面的一堆链接,但是这个操作就有点复杂了,我们查阅上述页面的源码

http://image.fengniao.com/slide/535/5352130_1.html#p=1
http://image.fengniao.com/slide/535/5352130_1.html#p=2
http://image.fengniao.com/slide/535/5352130_1.html#p=3
....

网页源码中发现了,这么一块区域
技术图片

大胆的猜测一下,这个应该是图片的JSON,只是他打印在了HTML中,我们只需要用正则表达式进行一下匹配就好了,匹配到之后,然后进行下载。

第三步,开始撸代码。


技术图片

 

3. 蜂鸟网图片--写代码

 1 from http_help import R  # 这个文件自己去上篇博客找,或者去github找
 2 import threading
 3 import time
 4 import json
 5 import re
 6 
 7 img_list = []
 8 imgs_lock = threading.Lock()  #图片操作锁
 9 
10 
11 # 生产者类
12 class Product(threading.Thread):
13 
14     def __init__(self):
15         threading.Thread.__init__(self)
16 
17         self.__headers = {"Referer":"http://image.fengniao.com/",
18                           "Host": "image.fengniao.com",
19                           "X-Requested-With":"XMLHttpRequest"
20                           }
21         #链接模板
22         self.__start = "http://image.fengniao.com/index.php?action=getList&class_id=192&sub_classid=0&page={}&not_in_id={}"
23         self.__res = R(headers=self.__headers)
24 
25 
26     def run(self):
27 
28         # 因为不知道循环次数,所有采用while循环
29         index = 2 #起始页码设置为1
30         not_in = "5352384,5352410"
31         while True:
32             url  = self.__start.format(index,not_in)
33             print("开始操作:{}".format(url))
34             index += 1
35 
36             content = self.__res.get_content(url,charset="gbk")
37 
38             if content is None:
39                 print("数据可能已经没有了====")
40                 continue
41 
42             time.sleep(3)  # 睡眠3秒
43             json_content = json.loads(content)
44 
45             if json_content["status"] == 1:
46                 for item in json_content["data"]:
47                     title = item["title"]
48                     child_url =  item["url"]   # 获取到链接之后
49 
50                     img_content = self.__res.get_content(child_url,charset="gbk")
51 
52                     pattern = re.compile("pic_url_1920_b":"(.*?)")
53                     imgs_json = pattern.findall(img_content)
54                     if len(imgs_json) > 0:
55 
56                         if imgs_lock.acquire():
57                             img_list.append({"title":title,"urls":imgs_json})   # 这个地方,我用的是字典+列表的方式,主要是想后面生成文件夹用,你可以进行改造
58                             imgs_lock.release()
59 
60 #小编整理一套Python资料和PDF,有需要Python学习资料可以加学习群:1004391443,反正闲着也是闲着呢,不如学点东西啦~~

 

上面的链接已经生成,下面就是下载图片了,也非常简单

# 消费者
class Consumer(threading.Thread):
    def __init__(self):
        threading.Thread.__init__(self)
        self.__res = R()

    def run(self):

        while True:
            if len(img_list) <= 0:
                continue  # 进入下一次循环

            if imgs_lock.acquire():

                data = img_list[0]
                del img_list[0]  # 删除第一项

                imgs_lock.release()

            urls =[url.replace("\\","") for url in data["urls"]]

            # 创建文件目录
            for item_url in urls:
               try:
                   file =  self.__res.get_file(item_url)
                   # 记得在项目根目录先把fengniaos文件夹创建完毕
                   with open("./fengniaos/{}".format(str(time.time())+".jpg"), "wb+") as f:
                       f.write(file)
               except Exception as e:
                   print(e)

 

代码走起,结果
技术图片

以上是关于Python爬虫入门教程:蜂鸟网图片爬取的主要内容,如果未能解决你的问题,请参考以下文章

Python爬虫入门教程:蜂鸟网图片爬取

Python爬虫入门教程 6-100 蜂鸟网图片爬取之一

Python爬虫入门教程 8-100 蜂鸟网图片爬取之三

爬虫之蜂鸟网图片爬取

Python爬虫入门教程 3-100 美空网数据爬取

Python爬虫入门教程 3-100 美空网数据爬取