一段完整的批量下载网站视频资源的python爬虫代码(附注解)
Posted Iceberg_710815
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一段完整的批量下载网站视频资源的python爬虫代码(附注解)相关的知识,希望对你有一定的参考价值。
# 本程序为学习代码,成功爬取了'梨视频'网站的全部视频文件,并保存在video文件夹 import os import re import requests def getHTMLText(url): try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: print("request failed") url = ‘https://www.pearvideo.com/category_8‘ baseurl = ‘https://www.pearvideo.com/‘ video_data = getHTMLText(url) # 判断是否已经有video文件夹,没有则新建 if not os.path.isdir(‘./video‘): os.makedir(‘./video‘) res = re.compile(r‘(video_[0-9]{7})‘) video_list = re.findall(res, video_data) # 构建全部视频文件网址 for i in video_list: video_url = baseurl + i # video_url是视频文件页面的地址,不是真正的视频文件的下载地址 # 请求视频文件网站url,读取视频文件内容 try: text = getHTMLText(video_url) # 返回视频文件页面的html res = re.compile(r‘srcUrl="(https://.+?mp4)"‘) final_url = re.findall(res, text)[0] # 返回真正的视频文件的下载地址 video_content = requests.get(final_url).content # 获取视频文件的内容(二进制流) except: print(‘%s文件内容获取失败!‘ % i) with open(‘./video/‘ + i + ‘.mp4‘, ‘wb‘) as f: print(‘正在保存视频 %s ......‘ % i) f.write(video_content) f.flush()
以上是关于一段完整的批量下载网站视频资源的python爬虫代码(附注解)的主要内容,如果未能解决你的问题,请参考以下文章
华为云技术分享40行代码教你利用Python网络爬虫批量抓取小视频
Python爬虫 urllib -- urllib 下载资源urllib 请求对象的定制(URL完整组成介绍HTTP协议和HTTPS的区别请求对象的定制)