用Python爬取了考研吧1000条帖子，原来他们都在讨论这些！

Posted 2021-03-16 xavierx

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了用Python爬取了考研吧1000条帖子，原来他们都在讨论这些！相关的知识，希望对你有一定的参考价值。

写在前面

考研在即，想多了解考研er的想法，就是去找学长学姐或者去网上搜索，贴吧就是一个好地方。而借助强大的工具可以快速从网络鱼龙混杂的信息中得到有价值的信息。虽然网上有很多爬取百度贴吧的教程和例子，但是贴吧规则更新快，目的不一样，爬取的内容也不一样，所以就有了这个工具。
技术图片

目的

爬取1000条帖子→判断是否是广告或者垃圾信息→分析语言情感→生成词云

一、分析

1.1 先查看贴吧的规则，果然有规律，每一页是50条帖子
技术图片

1.2 帖子内容，也有规律，都在这个标签里面
技术图片

1.3 判断内容就用百度AI的内容审核，情感分析也用百度AI了，省事
1.4 词云可以先用jieba分词然后再用wordcloud生成，但是后来发现网上有现成的工具

二、爬取过程

2.1 首先解决的一个小问题就是让它自己计算一下每页是50条帖子，我输入1000条它应该去爬取那几个页面，就用这种数学计算就行
2.2爬取过程代码，爬取后就调用内容审核以及情感分析，然后写入文件

def gettbtz(tbname,tznum):  ####根据给出的贴吧和帖子数（50的整数倍）获得所有帖子
    n = -50
    tznum = int(tznum)  ###z这里是要根据贴吧的规则，每页显示50条帖子
    emotions = 0
    while (tznum > n):
        n = n + 50
        print("正在爬取前" + str(n) + "条帖子")
        url = "http://tieba.baidu.com/f?kw=" + tbname + "&ie=utf-8&pn=" + str(n)
        soup = BeautifulSoup(requests.get(url).text,'lxml')  ###爬取动作
        a = soup.find_all('div',class_='threadlist_abs threadlist_abs_onlyline')
        for a in a:  ###接下来以此判断文本是否合规，然后判断情感正向倾向指数，然后写入文件
            if BDAITEXT(a.text) == "合规":
                print("爬取到合规帖子,正在写入文件：" + a.text)
                with open("resaults.txt","a+",encoding='utf-8') as f:
                    f.write(str(a.text))  ###写入这里特意转换一下数据类型，避免后面发生文本编码错误
                try:
                    emotions = emotions + BDAIemotion(a.text)
                    print("当前累计情感指数：" + str(emotions))
                except:
                    print("情感分析出错，跳过")

            else:
                print("帖子不合规，跳过")
        time.sleep(10)  ###君子协议，10秒暂停
        f.close()

三、百度人工智能API调用

3.1 百度AK获取，就是要先到百度AI开发平台注册一个开发者账号，然后创建应用，获取应用id和密钥，然后得到这样一个调用的密钥

# client_id 为官网获取的AK， client_secret 为官网获取的SK
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【应用ID】&client_secret=【SK】'
 response = requests.get(host)
 if response:
 print(response.json())

3.2 内容审核API调用

def BDAITEXT(text):  ####百度AI文本审核，返回合规或者不合规
    content = {"text": text}
    r = requests.post(BDAItexturl,content).text
    if r:
        rback = json.loads(r)
        return rback["conclusion"]

3.3 情感分析API调用

def BDAIemotion(text):  ####百度AI情感分析，返回一个数值
    content = {"text": text}
    content = json.dumps(content)
    r = requests.post(BDAIemotionurl,content).text
    if r:
        rback = json.loads(r)
        return rback['items'][0]['positive_prob']