Python爬虫实战篇bilibili视频弹幕提取

Posted Tanglaoer

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python爬虫实战篇bilibili视频弹幕提取相关的知识,希望对你有一定的参考价值。

两个重要点

1.获取弹幕的url是以 .xml 结尾

2.弹幕url的所需参数在视频url响应的 javascript 中

先看代码

import requests
from lxml import etree
import re

# 使用手机UA
headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 视频url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode(\'utf-8\')
# 获取弹幕url的参数
cid = re.findall(r"comment: \'//comment.bilibili.com/\' \\+ (.*?) \\+ \'.xml\',", html)

url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content

xml = etree.HTML(html)

# 提取数据
str_list = xml.xpath("//d/text()")
# 写入文件
with open(\'bibi_xuxubaobao.txt\', \'w\', encoding=\'utf-8\') as f:
    for line in str_list:
        f.write(line)
        f.write(\'\\n\')

先找到弹幕的url,以.xml结尾,所以先找到这串数字所在的位置,并获取这串数字发起第二次请求

 

 

而这串数字就在 第一次请求的响应的JavaScript中,可以通过 re 正则表达式进行提取

 

 

 接下来的工作就是获取弹幕url返回的所有弹幕数据,然后对响应进行数据处理。

代码示例中使用的是 lxml 进行获取。接着就是保存到个人本地文件中了

以上是关于Python爬虫实战篇bilibili视频弹幕提取的主要内容,如果未能解决你的问题,请参考以下文章

人类高质量女性教你用爬虫抓取B站人类高质量男性求偶视频的弹幕,康康都在讨论什么!

从python基础到爬虫的书有啥值得推荐

Python爬虫b站视频弹幕并生成词云图分析

这样的Python爬虫实战项目谁不爱呢——Python实现抓取知乎弹幕

Bilibili-XMLSubtitle-to-ASS可视化Bilibili本地视频XML弹幕转换ASS字幕转换器:新增自动转换Bilibili下载视频功能

bilibili高并发实时弹幕系统的实战之路