Python网络爬虫爬取贴吧话题热议榜单(可自定义条数)

Posted ChargeCrystal

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Python网络爬虫爬取贴吧话题热议榜单(可自定义条数)相关的知识,希望对你有一定的参考价值。

 
以上为页面结构
import pandas as pd
import requests as rq
from bs4 import BeautifulSoup
url="http://tieba.baidu.com/hottopic/browse/topicList?res_type=1"

def res_caputure():
    try:
        res = rq.get(url,timeout=30)
        res.raise_for_status()
        res.encoding = res.apparent_encoding
        return res.text
    except:
        return "发生异常,响应码为{}".format(res.status_code)
    
if __name__ == "__main__":
    r = res_caputure()
    soup = BeautifulSoup(r)
    a = soup.select(\'a[target]\')
    p = soup.select(\'span\')
    soup_p=[]
    soup_a=[]
    s=input("输入要查看百度贴吧话题热议榜单的条数(直接回车默认为10条,最高为30):")
    
    if s==\'\':
        s=10
    else:
        s=int(s)
        
    for k in range(3,s*2+3,2):
        soup_p.append(p[k].string)
    for i in range(0,s):
        soup_a.append(a[i].string)
    dt={\'排名\':range(1,s+1),\'标题\':soup_a,\'内容数\':soup_p}
    df=pd.DataFrame(dt)
    print(df)

 


可自定义查看条数,按回车确定,不输入默认为10条

演示如下:

以上是关于Python网络爬虫爬取贴吧话题热议榜单(可自定义条数)的主要内容,如果未能解决你的问题,请参考以下文章

网络爬虫入门——案例一:爬取百度贴吧帖子

Python爬虫之简单的爬取百度贴吧数据

Python爬虫-爬取百度贴吧

药大贴吧用户数据资料爬取与简单分析

Python爬虫爬取百度贴吧的图片

Python爬虫爬取百度贴吧的帖子