我用Python爬取了B站3948评论，围观最近超火的“杀疯了！这就是国家队的美貌吗？”评论区

Posted 2021-09-01 途途途途

技术上碾压对手

颜值上惊艳对手

中国奥运健儿们真是又美又能打！

带你一看

中国运动员颜值有多高

需求分析

网友们都在微博上说了啥？

看这里

▼

之气那我们也有分析过B站的弹幕，有兴趣的小伙伴可以看看这里

爬虫B站弹幕| 考完试，这辈子，这个班，基本是聚不齐了......

首先我们打开B站找到我们要找的视频。

F12打开浏览器开发者模式，找到如下链接。

经过测试发现，目前它是通过Js经行渲染的，想通了这一点，那就可以马上去找接口了。

可以看到我们所有爬取的评论信息全在在一个不规则的json文件当中

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496820&jsonp=jsonp&next=2&type=1&oid=674425220&mode=3&plat=1&_=1627894506606

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496821&jsonp=jsonp&next=3&type=1&oid=674425220&mode=3&plat=1&_=1627894508981

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496822&jsonp=jsonp&next=4&type=1&oid=674425220&mode=3&plat=1&_=1627894510667

https://api.bilibili.com/x/v2/reply/main?callback=jQuery172011288135593018156_1627894496823&jsonp=jsonp&next=5&type=1&oid=674425220&mode=3&plat=1&_=1627894567580

从上面的URL地址以及图片，可以看出一共有8个查询参数。

callback：每加载出一次便加1操作。

next：每加载一次便加1操作，next是从0开始加载的。

_：13位的时间戳。‍‍‍‍‍‍‍‍‍‍‍‍

发送请求

我们首先模拟浏览器来发送请求获取到这个json数据集，然后获取具体的

评论者、行呗、评论时间、点赞人数和具体的评论内容

  url = f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'

  headers = {
            "cookie": "_uuid=BA408FD2-1B4E-DCB0-1CBE-71233AE9FB2918358infoc; buvid3=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; sid=ld1hsb9h; fingerprint=84acc3579a53d0eba78d769e71574df6; buvid_fp=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; buvid_fp_plain=BA184AFC-F4DC-408A-8897-D0EDEA653CE5148812infoc; DedeUserID=434541726; DedeUserID__ckMd5=448fda6ab5098e5e; SESSDATA=40011147%2C1643348516%2Ce493c*81; bili_jct=1d136ab44a600313299942bf8f6b8f95; CURRENT_FNVAL=80; blackside_state=1; rpdid=|(u)YJR~R~)m0J'uYk~~mY~Y); bsource=search_baidu; PVID=1; bfe_id=393becc67cde8e85697ff111d724b3c8",
            'referer': 'https://www.bilibili.com/video/BV1uU4y1H7wL',
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/93.0.4577.8 Safari/537.36'
        }

  resp = requests.get(url, headers=headers)
  ic(resp.text)

前面说到我们获取的这个json格式的数据集不是一个标准的json

就是因为前面多了一串

‘jQuery172009047692616139114_1627891325400’

所以我们先将获取到的数据集转为标准的json格式。

如下：

   # 获取resp响应
    text = resp.text[42:-1]

    # 转换json格式
    json_data = json.loads(text)

    # 获取所有评论
    datas = json_data['data']['replies']
    ic(datas)

接下来我们要获取的就是那些评论信息等

   for item in datas:
        # 评论者
        name = item['member']['uname']

        # 性别
        sex = item['member']['sex']

        # 评论时间
        ctime = item.get('ctime')
        content_time = time.strftime('%Y-%m-%d %H:%M', time.localtime(ctime))

        # 点赞人数
        star = item['like']

        # 评论内容
        cmts = item['content']['message']

        ic(name, sex, content_time, star, cmts)

实现翻页爬取

在前面所描述的内容，都只是爬取一页的数据，因此，接下来我要实现类于翻页爬取的效果。

其实只要修改我上面所描述的3个查询参数即可。

测试数据我们就先取200页。

  for page in range(1, 200 + 1):
      time_thick = int(time.time() * 1000)
      url = f'https://api.bilibili.com/x/v2/reply/main?callback=jQuery172009047692616139114_{1627891325400 + page}&jsonp=jsonp&next={page}&type=1&oid=674425220&mode=3&plat=1&_={time_thick}'

保存数据

最后将爬取下来的数据，使用openpyxl保存至Excel文件中，总共得到4000条测试数据。

数据处理

这里我们使用熊猫来读取数据,并去除空行

使用jieba制作分词

  rcv_data = pd.read_excel('哔哩哔哩.xlsx')
  exist_col = rcv_data.dropna()  # 删除空行
  c_title = exist_col['评论内容'].tolist()
  # 观影评论词云图
  wordlist = jieba.cut(''.join(c_title))
  result = ' '.join(wordlist)

可视化

最后我们使用stylecloud来生成多样形式的词云

  gen_stylecloud(text=result,
              icon_name='fas fa-table-tennis',
              font_path='msyh.ttc',
              background_color='white',
              output_name=pic,
              custom_stopwords=['啊', '的', '也', '了', '我', '是', '吗', '都', '就', '你', '不', '真的', '有', '这', '没有', '他们', '还有', '说', '封面']
                   )
    print('绘图成功！')