一段完整的批量下载网站视频资源的python爬虫代码(附注解)

Posted Iceberg_710815

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一段完整的批量下载网站视频资源的python爬虫代码(附注解)相关的知识,希望对你有一定的参考价值。

# 本程序为学习代码,成功爬取了'梨视频'网站的全部视频文件,并保存在video文件夹
import os
import re
import requests

def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        print("request failed")

url = https://www.pearvideo.com/category_8
baseurl = https://www.pearvideo.com/
video_data = getHTMLText(url)
# 判断是否已经有video文件夹,没有则新建
if not os.path.isdir(./video):
    os.makedir(./video)

res = re.compile(r(video_[0-9]{7}))
video_list = re.findall(res, video_data)


# 构建全部视频文件网址
for i in video_list:
    video_url = baseurl + i # video_url是视频文件页面的地址,不是真正的视频文件的下载地址
    # 请求视频文件网站url,读取视频文件内容
    try:
        text = getHTMLText(video_url) # 返回视频文件页面的html
        res = re.compile(rsrcUrl="(https://.+?mp4)")
        final_url = re.findall(res, text)[0] # 返回真正的视频文件的下载地址
        video_content = requests.get(final_url).content # 获取视频文件的内容(二进制流)
    except:
        print(%s文件内容获取失败! % i)
    with open(./video/ + i + .mp4, wb) as f:
        print(正在保存视频 %s ...... % i)
        f.write(video_content)
        f.flush()

 

以上是关于一段完整的批量下载网站视频资源的python爬虫代码(附注解)的主要内容,如果未能解决你的问题,请参考以下文章

使用Python编写简单网络爬虫抓取视频下载资源

华为云技术分享40行代码教你利用Python网络爬虫批量抓取小视频

python爬虫公众号所有信息,并批量下载公众号视频

Python爬虫学习教程,批量爬取下载抖音视频

Python网络爬虫实战案例之:7000本电子书下载

Python爬虫 urllib -- urllib 下载资源urllib 请求对象的定制(URL完整组成介绍HTTP协议和HTTPS的区别请求对象的定制)