爬虫——使用多进程爬取视频数据

Posted zivli

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了爬虫——使用多进程爬取视频数据相关的知识,希望对你有一定的参考价值。

  以梨视频为例分析页面请求抓取网页数据。本次抓取梨视频生活分类页面下的部分视频数据,并保存到本地。

一、分析网页

  打开抓取网页,查看网页代码结构,发现网页结构里面存放视频的地址并不是真正的视频地址。

         技术图片

  进入视频详情页面查看后,可以在response中找到真正的视频地址。保存这个地址的并不是标签,而是一个变量,我们使用re来解析这个变量,提取信息。

         技术图片

二、代码实现

"""使用多线程爬取梨视频视频数据"""
import requests
import re
from lxml import etree
from multiprocessing.dummy import Pool

url = https://www.pearvideo.com/category_5
page_text = requests.get(url=url).text

tree = etree.html(page_text)
# 1、获取页面中视频详情地址
li_list = tree.xpath(//ul[@id="listvideoListUl"]/li)
url_list = []
for i in li_list:
    # 2、构造出每个视频的详情地址
    detail_url = "https://www.pearvideo.com/" + i.xpath(./div/a/@href)[0]
    name = i.xpath(./div/a/div[2]/text())[0] + .mp4
    # 3、向视频详情地址发起请求
    detail_page = requests.get(url=detail_url).text
    # 4、从response中解析出视频的真实地址
    ex = srcUrl="(.*?)",vdoUrl
    video_url = re.findall(ex, detail_page)[0]
    dic = 
        name: name,
        url: video_url
    
    url_list.append(dic)


def get_video_data(d):
    """
    向视频地址发起请求,二进制写入本地文件
    :param d: 
    :return: 
    """
    url = d[url]
    data = requests.get(url=url).content
    print(d[name], "正在下载。。。")
    with open(d[name], wb) as f:
        f.write(data)
        print(d[name], "下载成功。。。")


# 使用多进程处理
pool = Pool(4)
pool.map(get_video_data, url_list)
pool.close()
pool.join()

  运行结果:

与新中国同岁!70名70岁老人的故事.mp4 正在下载。。。
与新中国同岁!70名70岁老人的故事.mp4 下载成功。。。
妻子每天失忆,丈夫用视频帮找记忆.mp4 正在下载。。。
妻子每天失忆,丈夫用视频帮找记忆.mp4 下载成功。。。
中国时尚引领国际潮流.mp4 正在下载。。。
中国时尚引领国际潮流.mp4 下载成功。。。
10后女孩7岁就拿3项少儿跑酷赛大奖.mp4 正在下载。。。
10后女孩7岁就拿3项少儿跑酷赛大奖.mp4 下载成功。。。

 

以上是关于爬虫——使用多进程爬取视频数据的主要内容,如果未能解决你的问题,请参考以下文章

爬虫练习五:多进程爬取股市通股票数据

高性能异步爬虫

爬虫:多进程爬虫

爬虫实例:多线程,多进程对网页的爬取

多进程爬虫

高性能异步爬虫