Python爬虫小白教学篇：豆瓣9.3超高评分《觉醒年代》热评爬取生成精美词云！！！

Posted 2021-08-04 Code皮皮虾

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Python爬虫小白教学篇：豆瓣9.3超高评分《觉醒年代》热评爬取生成精美词云！！！相关的知识，希望对你有一定的参考价值。

文章目录

精美词云

在这里插入图片描述

《觉醒年代》热评爬取讲解

在这里插入图片描述

点击好评

在这里插入图片描述

多页爬取讲解

在这里插入图片描述

热评爬取分析

一个热评对应一个class值为comment-item的div标签

所以我们只需获取全部class值为comment-item的div标签即可获取当前页面全部热评

在这里插入图片描述

但是，热评具体又存储在class值为comment-itemdiv标签下的class值为short的span标签下

所以我们只需获取全部class值为short的span标签即可获取当前页面全部热评

在这里插入图片描述

spans = data.find_all(class_="short")
for i in spans:
     global_text += ",".join(jieba.cut(str(i.text).strip()))

完整代码

import matplotlib.pyplot as plt
import wordcloud
import jieba
from imageio import imread
import requests
from bs4 import BeautifulSoup


global_text = ""

def getDetail(data):
    global global_text
    data = BeautifulSoup(data,"html.parser")
    spans = data.find_all(class_="short")
    for i in spans:
        global_text += ",".join(jieba.cut(str(i.text).strip())) # 对获取到的热评分词


def toWordCloud():
    global global_text
    mask = imread("./9.png") #设置背景图
    wcd = wordcloud.WordCloud(
        font_path="C:\\Windows\\Fonts\\msyh.ttc",
        background_color='white', #设置背景颜色
        random_state=80, # 颜色种类
        mask=mask)
    wcd.generate(global_text)

    wcd.to_file("res.jpg") #保存为图片
    plt.imshow(wcd)
    plt.axis('off')
    plt.show()


if __name__ == '__main__':
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.64"
    }
    url = 'https://movie.douban.com/subject/30228394/comments?percent_type=h&start={}&limit=20&status=P&sort=new_score'
    for i in range(6,10):
        new_url = url.format(i * 20)
        response = requests.get(url=url,headers=headers)
        response.encoding = 'utf-8'
        getDetail(response.text)

    toWordCloud()