一招搞定网易云歌曲评论并生成漂亮词图,想爬什么歌就爬什么歌,练手推荐!
Posted 退休的龙叔
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了一招搞定网易云歌曲评论并生成漂亮词图,想爬什么歌就爬什么歌,练手推荐!相关的知识,希望对你有一定的参考价值。
网易云音乐一直是一个非常棒的听歌平台,尤其是推荐算法,我个人觉得是比某Q音乐更得人心,一直以来都用的都是网易云来听歌。
今天我就来教大家一个爬取网易云任意歌曲的评论并生成特殊词图的方法,对爬虫感兴趣的小伙伴们可以去试试练手,掌握方法之后,想爬什么歌都可以。
一、效果
我们先来看看效果最终的词图效果,以任然的《无人之岛》为例,虽然是3年前的歌曲了,但是依然有很多听众喜欢这首歌,至今已有25万多条评论。
我们来看看这25万多人在听这首歌的时候都在说些什么,看看评论爬取出来的效果图:
二、用到的技术
这个技术难度并不大,主要用到了selenium和几个第三方库就可以实现,先给大家做个简单的技术阐述。
1.无头浏览器selenium
Selenium是一个用于Web应用程序测试的工具,Selenium测试直接运行在浏览器中,就像真正的用户在操作一样,不会被要爬的网站产生怀疑。
2.selenium的优势
自动渲染所有响应内容,可以直接绕过js加密的操作,只要是展示在浏览器上看的数据,都可以使用无头浏览器获取,几乎可以达成可见即可爬。
3.使用到的第三方库
jieba库、wordcloud库、mysqldb、numpy库。
三、源码分析
1.爬取评论进库部分。
2.进行效果图展示可视化。
如果需要源码的话,可以在下方评论区留言“网易云”3个字,然后私聊我,我给你发源码,或者在我技术交流群里找我助手就可以了。
四、爬取任意歌曲评论
掌握这个方法之后,我们不仅仅可以爬任然的《无人之岛》,还可以爬其他的歌曲,方法都是如出一辙,通过这几步就能完成。
1.请求的url
首先,我们代码里面有一条请求网址的url,也就是地址栏的那一串地址,需要声明一点,仅限网页版的网易云音乐官网的歌曲。示例图如下:
2.需要爬取的评论
如果还需要可视化的话,照着上面的方法进行操作就可以了。
感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的:
① 2000多本Python电子书(主流和经典的书籍应该都有了)
② Python标准库资料(最全中文版)
③ 项目源码(四五十个有趣且经典的练手项目及源码)
④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)
⑤ Python学习路线图(告别不入流的学习)
虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走,在我的QQ技术交流群里(技术交流和资源共享,广告进来腿给你打断)可以自助拿走,群号1044939456。
以上是关于一招搞定网易云歌曲评论并生成漂亮词图,想爬什么歌就爬什么歌,练手推荐!的主要内容,如果未能解决你的问题,请参考以下文章
python爬取网易云周杰伦所有专辑,歌曲,评论,并完成可视化分析