Python的requests爬取酷我音乐的一些坑（报错友好错误界面csrf动态网页）
Posted H_612
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python的requests爬取酷我音乐的一些坑（报错友好错误界面csrf动态网页）相关的知识，希望对你有一定的参考价值。
问题 1
在我用 Python 的 requests 爬取酷我音乐MV信息时报错：
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
代码如下：
url = 'https://www.kuwo.cn/api/www/search/searchMvBykeyWord'
headers = {
'cookie': '...',
'user-agent': '...',
}
params = {'key': '夜曲',
'pn': '1',
'rn': '30',
'httpsStatus': '1'
}
respond = requests.get(url=url, headers=headers, params=params)
print(respond.text)
text = respond.json()
打印出来的html内容如下，出现友好错误界面：
<html>
<head><title>403 Forbidden</title></head>
<body>
<center><h1>403 Forbidden</h1></center>
<hr><center>nginx/1.16.0</center>
</body>
</html>
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
<!-- a padding to disable MSIE and Chrome friendly error page -->
解决办法：请求头除cookie外，再加上Referer和csrf：
headers = {
'Referer': 'https://www.kuwo.cn/search/list',
'cookie': 'kw_token=GY3EWHPDHD',
'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 OPR/77.0.4054.203',
'csrf': 'GY3EWHPDHD'
}
问题 2
解决问题 1 之后爬取酷我音乐的MV信息时，打印出爬取到的数据是这样子的：
{"success":false,"message":"CSRF Token Not Found!","now":"2021-07-23T13:15:45.683Z"}
根据上面的信息我们可以得出是 csrf 这里出了问题：
url = 'https://www.kuwo.cn/api/www/search/searchMvBykeyWord'
headers = {
'Referer': 'https://www.kuwo.cn/search/list',
'cookie': '...',
'user-agent': 'Mozilla/5.0...',
'csrf': 'GY3EWHPDHD',
}
params = {'key': '夜曲',
'pn': '1',
'rn': '30',
'httpsStatus': '1'
}
respond = requests.get(url=self.url, headers=self.headers, params=self.params)
print(respond.text)
接着我发现 csrf 的内容和 cookie 中的kw_token是一样的，因此这两个都不能缺少
我正好就是 cookie 中缺少了此部分，加上去即可：
headers = {
'Referer': 'https://www.kuwo.cn/search/list',
'cookie': 'kw_token=GY3EWHPDHD',
'user-agent': 'Mozilla/5.0...',
'csrf': 'GY3EWHPDHD',
}
根据试验我得出在这里爬取音乐数据，请求头只需要Referer、csrf和cookie的kw_token部分即可。
问题 3
爬取音乐MV链接，遇到了 javascript 渲染的动态网页：
爬取视频链接的部分代码：
from pyquery import PyQuery as pq
url_mv = pq(url='https://y.qq.com/n/ryqq/mv/d0023bpqirq')
url_mp4 = url_mv.find('#video_player__source').attr('src')
print(url_mp4)
这时候我们会发现我们爬到的信息为None
我试着用requests获取HTML源码，但得到的内容与我在网页中看到的不一样，内容有缺失：
import requests
url_mv = 'https://y.qq.com/n/ryqq/mv/d0023bpqirq'
url_mp4 = requests.get(url_mv).text
print(url_mp4)
为什么爬到的网页内容和我们看到的不一样呢？这是因为：这个网页的数据是JavaScript渲染的，我们从html的源码中无法获得这些数据，这些数据是在执行JavaScript脚本之后，异步地渲染到页面上的。我们获得的HTML源码为网页初始化的时候的源码，就像下面这样，当然没有视频链接：
这时候怎么办呢。我上网查了很多方法，要么是用 selenium 等的库模拟浏览器操作，或者就是渲染引擎等的东西。但 selenium 库耗时又耗内存，我并不想用它。而身为大懒人的我又绝对不会搞什么引擎。这时候我找到了一个绝佳的解决办法（只适用于爬取音乐和MV，其他网页我没有试过，并不清楚）。
解决
如果你在QQ音乐爬取，建议你放弃QQ音乐，它并不适用于我的这个方法。我用的是酷我音乐。
首先进入酷我音乐主页，搜索歌曲（这里以“思念”为例），然后点击 MV 栏后开始录制行为，我们随便点击进入一部MV，这时候我们可以发现这边多了一个以url?rid=... 开头的文件，文件内容就是我们需要的链接：
如果爬取的是音乐信息，则要点击播放后，看到一个以 url?format=...开头的文件，里面包含了音乐链接：
然后我们就可以直接用这个文件的 url 地址发送请求：
url_mv = f'https://www.kuwo.cn/url?rid={id_mv}&response=url&format=mp4%7Cmkv&type=convert_url&t=1627025536974&httpsStatus=1&reqId=1b3945f0-eb88-11eb-8b47-0762a118c069'
params = {'rid': id_mv,
'response': 'url',
'format': 'mp4|mkv',
'type': 'convert_url',
't': '1627025536974',
'httpsStatus': '1',
'reqId': '1b3945f0-eb88-11eb-8b47-0762a118c069'}
url_mp4 = requests.get(url_mv, params=params).text
print(url_mp4)
with open ('思念.mp4','wb') as m:
m.write(mp4)
如果是爬音乐则需经json解码后换为字典后取 url：
url_mp4 = requests.get(url_mv, params=params).json()['url']
注意代码中的 url_mv 字符串和 params 中的id_mv是视频的 id，可以替换后获取不同的MV的链接，比如《思念》的 id 为167073。id 可以在搜索界面中爬取信息找到（问题1、问题2），你也可以点进MV后看网址的后几位数字。
在写入了mp4文件后，来到文件夹，可以看到 思念.mp4 已经生成了：
2021/7/23
以上是关于Python的requests爬取酷我音乐的一些坑（报错友好错误界面csrf动态网页）的主要内容，如果未能解决你的问题，请参考以下文章