python多线程爬取图片实例

Posted 2022-03-11 liangxiyang

今天试着把前面那个爬取图片的爬虫改成了多线程爬取，虽然最后可以爬取存储图片了，但仍存在一些问题。网址还是那个网址https://www.quanjing.com/category/1286521/1.html，

下面是代码，难点直接在后面注释了。

# 多线程爬取，每个线程爬取一个页面
import requests
import threading
import queue
from bs4 import BeautifulSoup
import re
import time

string = "https://www.quanjing.com/category/1286521/"
pipei = re.compile(‘<img.*?lowsrc="(.*?)"‘)


class spiders(threading.Thread):
    name = 1　　# 累加变量，用来给每张图片命名

    def __init__(self, queue, page):
        threading.Thread.__init__(self)
        self.queue = queue
        self.page = page

    def run(self):      # 定义线程开始函数
        while not self.queue.empty():
            url = self.queue.get_nowait()
            # print(url)
            self.request_url(url)

    def request_url(self, url):     # 爬取并存储每一页的图片
        html = requests.get(url=url).text
        soup = BeautifulSoup(html, ‘lxml‘)
        li = str(soup.find_all(attrs=‘class‘: "gallery_list"))    # 根据class标签属性找出所有的图片链接
        lianjies = re.findall(pipei, li)        # 正则匹配出一页中每一个图片的链接
        for lianjie in lianjies:
            result = requests.get(url=lianjie).content  # 获取图片的二进制数据
            # 以二进制的方式存储图片
            with open(‘E:\py project\quanjingwang\image0\1.jpg‘.format(self.page, self.name), ‘ab+‘) as f:
                f.write(result)
            print("第0张存储完成".format(self.name))
            self.name += 1  # 命名

# 创建多线程函数


def main():
    url_queue = queue.Queue()
    for i in range(1, 11):
        url = string + str(i) + ".html"
        url_queue.put(url)
    thread_list = []    # 线程列表
    thread_counter = 5  # 线程数量，根据线程数量在相同目录下创建image0-4五个文件夹，用于存储对应线程的爬取结果，image0对应线程1
    for i in range(thread_counter):
        t = spiders(url_queue, i)
        thread_list.append(t)
    for t in thread_list:
        t.start()
    # for t in thread_list:
    #     print("线程id:%d" % t.ident)      # 获取线程id
    #     print("线程name：%s" % t.getName()) # 获取线程名
    for t in thread_list:
        t.join()


if __name__ == ‘__main__‘:
    start_time = time.time()
    main()
    print("五线程用时：%f" % (time.time() - start_time))

 刚开始，我想把爬取的所有图片都放在一个文件夹了，但却由于命名的问题，总是被覆盖，每次都只有一页的图片，最后用类中的静态变量解决（name）。不过就在刚在突然想到完全可以换一种命名方式解决，比如每张图片都有一个自己的标题，用标题命名不但解决的这个问题，还更加直观、利用查找。（自己tcl。。。若文章有错误，欢迎大家随之指正。。。）