信息,我找到了这些规律

Posted 没头发的米糊

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了信息,我找到了这些规律相关的知识,希望对你有一定的参考价值。

中国专业IT社区CSDN创立于1999年,是目前中国最大、最受欢迎的开发者平台。作者对CSDN博客用户中排名前200位的33万多篇文章的基础信息数据进行分析,得出了一些有意思的结论,并绘制了一些图表。

目的与数据概况

通过分析CSDN排行榜中作者总榜前200名作者文章的基础信息,可以得到一系列有意思的结论,如当前最受欢迎的技术门类、如何写好技术类博客等。

本次数据样本共332491条文章数据,分别收集了这些文章的标题、撰写时间、链接、阅读量、收藏量、点赞量、评论量、标签以及文章长度。

统计结果

首先,给出本次分析出的所有规律与图表。

付费文章所占比例

横轴为所有拥有付费专栏作者的编号,纵轴为付费文章占其所有文章数的比例。可以看出,拥有付费文章的作者数量并不多,但他们的付费文章比例呈均匀分布。

作者文章数目

横轴为文章数量排名,纵轴为每个作者文章数目。可以看出除少数文章数目极大的作者外,其余作者文章数量都在5000篇以下。

数量 VS 质量

横轴为文章数量,纵轴为对应的平均文章质量。可以看出质量在5000篇以上的作者,其平均文章质量都很低。在5000篇以下的作者,其文章质量相对较高,比较受到欢迎。

数量 VS 字数

横轴为文章数量,纵轴为对应的平均文章字数。可以看出虽然数量与字数并没有数量与质量那么大的关联,但总体还是呈现数量越少、字数越多、内容越丰富的趋势。而发文数量很多的作者多半是在水文。

标签设置

横轴为标签数,纵轴为文章数量。可以看出绝大多数文章并没有认真设置标签。标签是内容搜索、推送的重要依据,文章标签设置不到位会导致平台相关度推送精度下降,从而影响文章的阅读量。

标签数 VS 文章阅读数据

横轴为标签数,纵轴为文章平均阅读数据。可以看出虽然没有明显关联,但存在标签数越多文章阅读数据越好的趋势。说明标签的确可以优化平台相关度推送。

十大热门标签

横轴为标签,纵轴为文章数。这个柱状图表示了当前最热门技术及其热度。

标签词云


前1000个标签的词云图,这个图片包含了当前最热门的所有技术集锦。字体越大说明该项技术的公共知识资源越丰富,也就越受欢迎。

爬虫思路

首先进行数据的批量爬取。由于本次数据量较大,涉及环境较复杂,因此采用多线程、分批爬取的思路。

一.准备复用函数代码

首先准备一个复用函数get_data用于从指定链接获取数据。

def get_data(url):

    head = "User-Agent": "Mozilla/5.0"

    r = requests.get(url, headers=head)

    r.encoding = r.apparent_encoding

    return r

通过这个函数,我们可以从指定的url获取数据,从而为下一步撰写爬虫代码减少工作量。

二.爬取前200名的作者信息


CSDN网站上提供了一个页面用于查看作者排行榜。

但值得注意的是,这个页面是动态页面,它做了下拉分页。也就是通过直接请求该页面拿不到任何数据,而且它最多显示100个。

因此我到浏览器的检查窗口中监视了页面的网络请求情况,找到了专门获取作者总榜的接口。地址如下:

https://blog.csdn.net/phoenix/web/blog/all-rank

通过这个地址后加query请求,就可以按分页拿到作者数据。经过实测该接口可以拿到前200名作者的基础数据。

page = 0

  request = get_data("https://blog.csdn.net/phoenix/web/blog/all-rank?page=" + str(page) + "&pageSize=200")

rawData = json.loads(request.text)['data']['allRankListItem']

userData = []

articleData = 

  

  for item in rawData:

    newItem = 'nickName': item['nickName'],

               'hotRankScore': item['hotRankScore'],

               'level': item['level'],

               'fansCount': item['fansCount'],

               'diggCount': item['diggCount'],

               'vip': item['vip'],

               'userName': item['userName']

    userData.append(newItem)

  

pd.set_option('display.max_columns', None)

pd.set_option('display.max_rows', None)

  with open('userInfo' + str(page) + '.json', 'w') as f:

    f.write(json.dumps(userData, ensure_ascii=False))
 

后面的操作就简单了,通过如上代码即可将对我们有用的作者数据拿到手,并且写到json文件中。


在拿到所有作者数据后,接下来我们就开始爬取文章数据。


以第一名作者的主页为例,我们可以看到整个主页包含了他的所有博客。经过反复测验,可以发现除了第一页其他分页全部采用url进行:

因此可以直接使用requests库请求整页数据,然后用bs4解析。

def get_user_articles(user):

    index = 0

    articles = []

    print("作者:" + user['nickName'])

    while True:

        index = index + 1

        html_raw_data = get_data("https://blog.csdn.net/" + user['userName'] + "/article/list/" + str(index))

        soup = BeautifulSoup(html_raw_data.text, 'html.parser')

        soup = soup.select(".article-list")

        if len(soup) > 0:

            article_index = 0

            soup = soup[0].select("div.article-item-box")

  

            for article in soup:

                article_index = article_index + 1

                print(user['nickName'] + ":" + str(index) + "/" + str(article_index))

                articleDict = 'title': article.select("h4 a")[0].text[3:].strip(),

                               'time': article.select(".info-box")[0].select(".date")[0].text.strip(),

                               'link': article.select("h4 a")[0]['href'], "bad": True

                articleDict['info'] = get_article_info((articleDict['link']))

                articleDict["bad"] = False

                articles.append(articleDict)

        else:

            break

    with open(user['userName'] + '.json', 'w', encoding="utf-8") as f:

        f.write(json.dumps(articles, ensure_ascii=False))
 

因此可以写出如上函数。该函数可以通过给定作者的userName获取它的全部文章信息,同时还会进一步点进每个文章,获取到文章的内容和详细信息。获取文章详细信息的函数如下:

def get_article_info(url):

    article_info = 

    raw_data = get_data(url)

    soup = BeautifulSoup(raw_data.text, 'html.parser')

  

    readCount = soup.select(".bar-content")[0].select(".read-count")

    if len(readCount) > 0:

        article_info['read-count'] = int(soup.select(".bar-content")[0].select(".read-count")[0].text.strip())

    else:

        article_info['read-count'] = 0

    article_info['get-collection'] = int(

        soup.select(".toolbox-list")[0].select("#get-collection")[0].text.strip())

    article_info['likes'] = int(

        soup.select(".toolbox-list")[0].select("#is-like")[0].select("#spanCount")[0].text.strip())

    article_info['comments'] = int(

        soup.select(".toolbox-list")[0].select(".tool-item-comment")[0].select(".count")[0].text.strip())

    tag_box = soup.select(".tags-box")[0].select(".label:nth-of-type(2) ~ .tag-link")

    tag_box = [item.text.strip() for item in tag_box]

    article_info['tags'] = tag_box

    if len(soup.select(".column-mask")) > 0:

        article_info['type'] = 'NonFree'

        return article_info

    else:

        article_info['type'] = 'Free'

        article_info['length'] = len(soup.select("#article_content")[0].text)

        return article_info

通过上面一系列操作,就可以顺利地拿到一个作者所有文章的信息。

写完这些函数后,我们开始编写主要的多线程爬取代码:

userIndex = 10

  while True:

    user = userData[userIndex]

    length = len(threading.enumerate())

    if userIndex < len(userData) and length <= 10:

        userIndex = userIndex + 1

        try:

            threading.Thread(target=get_user_articles, name=user['nickName'], args=(user, )).start()

        except Exception:

            print(user['nickName'] + "异常中断")

    pass

使用如上图所示的多线程程序可以保证每时每刻都有10个作者的信息正在被爬取。经过测试,线程数继续增加就可能会被CSDN拒绝连接,因此10个并发是极限值。

最后,我们得到了一系列的json文件,这些文件记录了每个作者的所有文章基础信息。

统计思路

一.数据导入


首先,将爬到的数据统一放置在一个文件夹中:

放在同一个文件夹中的目的是,方便后续使用Python将这些数据通过I/O流导入到字典中进行分析。

同时考虑到具体到个人的文章数据可能存在隐私问题和个例问题,因此在导入数据时,干脆直接去除对应性,将每个作者看作等同的个体,分析他们的数据分布特征而非个体的具体特征。

for root, dirs, files in os.walk("G:\\Python大数据分析课程大作业\\data"):
    for file in files:
        filePath = os.path.join(root, file)
        with open(filePath, 'r', encoding='utf8') as fp:
            json_data = json.load(fp)
            articleData.append(json_data)
            articleCount = articleCount + len(json_data)

通过如上所示的代码即可完成这一步的操作。这时,我们顺利统计出了所有文章的条数,并且将所有文章按作者分类放入了articleData中。

二.数据分析

在爬虫过程中一共遇到如下两种可能存在的问题:

  1. 爬到的数据存在问题,做上了bad标记
  2. 爬到的文章属于付费专栏文章,无法查看到具体内容

对于这两种和其他数据存在明显差异的数据,需要提前进行特殊对待处理。

首先针对付费专栏文章进行处理:

nonFreeWriters = []

  for writer in articleData:

    articles = []

    for article in writer:

        if article["info"]["type"] != "Free":

            nonFreeWriters.append(writer)

            break

  print(len(nonFreeWriters))
 
noneFreeRatios = []

  for writer in nonFreeWriters:

    nonFreeArticles = []

    for article in writer:

        if article["info"]["type"] != "Free":

            nonFreeArticles.append(article)

    noneFreeRatios.append(len(nonFreeArticles) / len(writer))

noneFreeRatios.sort(reverse=True)

plt.bar(range(len(noneFreeRatios)), noneFreeRatios)

plt.show()
-------------------------------------------------------------------------
>> 66


通过以上统计,我们可以了解到在200名作者中,仅有66名作者拥有付费文章。我们顺带将他们的付费文章数占其总文章数的比例也统计出来,绘制成柱状图,结果如下:

可以看到,比例基本服从均匀分布。付费文章较少的作者可能只有一两篇付费文章,而付费文章较多的作者这一比例数值可以达到90%以上。

在分析完付费专栏文章后,开始详细分析非付费文章:

首先我想要统计出所有作者非付费文章的数量及分布情况。

#找出所有非付费文章

  freeArticleData = []

  for writer in articleData:

    articles = []

    for article in writer:

        if article["bad"] is False and article["info"]["type"] == "Free":

            articles.append(article)

    freeArticleData.append(articles)

  

writerArticleCounts = []

  for articles in freeArticleData:

    writerArticleCounts.append(len(articles))

writerArticleCounts.sort(reverse=True)

  print(writerArticleCounts)

plt.bar(range(len(writerArticleCounts)), writerArticleCounts)

plt.show()


通过导出的图表,我们可以看到除了个别文章数量非常多的作者外,其余作者的文章数量基本分布在0到5000篇之间。文章最少的作者仅有67篇,而文章最多的作者拥有10523篇文章。

既然这些作者的文章数量如此参错不齐,而他们都能登上作者排行榜,那么他们的文章质量应该也会有很大的差异。于是我们从不同维度来评价这些文章的质量:

可以认为一篇文章的质量由阅读量、点赞量、收藏量、评论量来反馈。因此,给出下列公式:

该公式用于评估一篇文章的质量,点赞、收藏和评论属于更高级别的质量体现量,因此在这里乘上系数10。该公式得出的值越大则说明文章越受欢迎、质量越高。

freeArticleDataMark = []

  for i in range(len(freeArticleData)):

    count = len(freeArticleData[i])

    averageMark = 0

    for article in freeArticleData[i]:

        averageMark = averageMark + article["info"]["read-count"] + article["info"]["get-collection"] * 10 + article["info"]["likes"] * 10 + article["info"]["comments"] * 10

    freeArticleDataMark.append(averageMark / count)

  

freeArticleDataAnalysis = zip(writerArticleCounts, freeArticleDataMark)

freeArticleDataAnalysis = sorted(freeArticleDataAnalysis, key=lambda x: x[0], reverse=True)

  

writerArticleCounts_sorted = [item[0] for item in freeArticleDataAnalysis]

freeArticleDataMark_sorted = [item[1] for item in freeArticleDataAnalysis]

  

plt.scatter(writerArticleCounts_sorted, freeArticleDataMark_sorted)

plt.show()


通过上述代码进行分析,我们将每个作者文章的平均质量求出,然后通过散点图绘制分布情况:

横轴为作者的文章数量,纵轴为作者文章的平均质量。可以看出,在文章数量较大(>3000)的情况下,其文章质量往往偏低。在文章数量较小时,文章质量往往都有一定提升。一天水一篇没有人看的文章,还是每周精耕一篇能使很多人收益的文章,这体现了一位作者是否对技术负责任的态度。

同样地,我们也可以对文章数量和文章平均长度的关系做类似的分析:

freeArticleDataLength = []

  for i in range(len(freeArticleData)):

    count = len(freeArticleData[i])

    length = 0

    for article in freeArticleData[i]:

        length = length + article["info"]["length"]

    freeArticleDataLength.append(length / count)

  

freeArticleDataAnalysis = zip(writerArticleCounts, freeArticleDataLength)

freeArticleDataAnalysis = sorted(freeArticleDataAnalysis, key=lambda x: x[0], reverse=True)

  

writerArticleCounts_sorted = [item[0] for item in freeArticleDataAnalysis]

freeArticleDataLength_sorted = [item[1] for item in freeArticleDataAnalysis]

  

plt.scatter(writerArticleCounts_sorted, freeArticleDataLength_sorted)

plt.show()


横轴为作者的文章数量,纵轴为作者文章的平均长度。可以看到,这两者的关系并不如刚才的那对关系紧密,但总的来说,还是呈现出文章越少,文章长度越长的趋势。

CSDN的博客包含一套标签系统,作者在上传文章时可以选择文章对应的标签。这些标签可以优化文章的搜索与推送,因此建议每个作者都仔细为文章配置标签。现在我们开始探究标签与文章质量表现的关系。

首先对CSDN博客文章标签数量进行统计:

freeArticleDataDict = dict()

  for i in range(len(freeArticleData)):

    for article in freeArticleData[i]:

        freeArticleDataDict[len(article["info"]["tags"])] = freeArticleDataDict.get(len(article["info"]["tags"]), 0) + 1

  

  freeArticleData = freeArticleDataDict.items()

freeArticleData = sorted(freeArticleData, key=lambda x: x[0],reverse=True)

ls1 = [item[0] for item in freeArticleData]

ls2 = [item[1] for item in freeArticleData]

plt.bar(ls1, ls2, fc='g')

plt.show()


横坐标为标签数量,纵坐标为对应的文章数量。可以看出,这些博客文章中绝大部分都缺少标签,仅有极少部分的文章合理地设置了标签。

接下来,探讨标签数量与文章反馈的质量数据的关系:

freeArticleDataMark = []

freeArticleTagsNum = []

  for i in range(len(freeArticleData)):

    averageMark = 0

    for article in freeArticleData[i]:

        averageMark = averageMark + article["info"]["read-count"] + article["info"]["get-collection"] * 10 + article["info"]["likes"] * 10 + article["info"]["comments"] * 10

        freeArticleDataMark.append(averageMark)

        freeArticleTagsNum.append(len(article["info"]["tags"]))

  

freeArticleDataAnalysis = zip(freeArticleTagsNum, freeArticleDataMark)

freeArticleDataDict = dict()

  for item in range(14):

    freeArticleDataDict[item] = []

  for item in freeArticleDataAnalysis:

    freeArticleDataDict[item[0]].append(item[1])

  for item in freeArticleDataDict.keys():

    freeArticleDataDict[item] = sum(freeArticleDataDict[item]) / len(freeArticleDataDict[item])

  

ls1 = [item for item in freeArticleDataDict.keys()]

ls2 = [item for item in freeArticleDataDict.values()]

plt.bar(ls1, ls2, fc='g')

plt.show()


横坐标为文章标签数量,纵坐标为对应的平均文章质量数据,可以看到,随着标签数量增加,文章质量数据有明显的上升趋势。标签设置在6个左右可以得到最平衡的收益,而设置了很多标签的文章一般也是作者花了大心思打造的文章,也拥有相当高的质量数据。

最后,我们对标签的内容进行分析。

首先调出最火的十个标签:

plt.rcParams['font.sans-serif'] = ['SimHei']

plt.rcParams['axes.unicode_minus'] = False

  

  freeArticleTags = dict()

  for i in range(len(freeArticleData)):

    for article in freeArticleData[i]:

        for tag in article["info"]["tags"]:

            tag = tag.upper()

            freeArticleTags[tag] = freeArticleTags.get(tag, 0) + 1

  

  freeArticleTags = freeArticleTags.items()

freeArticleTags = sorted(freeArticleTags, key=lambda x: x[1], reverse=True)

ls1 = [item[0] for item in freeArticleTags[:10]]

ls2 = [item[1] for item in freeArticleTags[:10]]

plt.bar(ls1, ls2, fc='b')

plt.show()


以上是所统计的博客文章中使用最多的十个标签和它们的热度统计。可以看到排在前十位的分别是Java、Python、android、数据库、Linux、String、算法、C、mysql、C++。只涉及到当下主流的后端技术和客户端开发技术,这一定程度上体现了后端技术在目前依然具有不可抵挡的热度,一定程度上也与当下前端人才的稀缺问题呼应。

最后,对前1000个标签进行词云统计。

plt.rcParams['font.sans-serif'] = ['SimHei']

plt.rcParams['axes.unicode_minus'] = False

  

  freeArticleTags = dict()

  for i in range(len(freeArticleData)):

    for article in freeArticleData[i]:

        for tag in article["info"]["tags"]:

            tag = tag.upper()

            freeArticleTags[tag] = freeArticleTags.get(tag, 0) + 1

  

  freeArticleTags = freeArticleTags.items()

freeArticleTags = sorted(freeArticleTags, key=lambda x: x[1], reverse=True)

ls1 = [item[0] for item in freeArticleTags[:10]]

ls2 = [item[1] for item in freeArticleTags[:10]]

plt.bar(ls1, ls2, fc='b')

plt.show()


以上是词云统计的结果。在这张图里,可以看到截至2021年12月CSDN上前200名博客作者的技术分布。在这张图中可以看到主流的编程语言、操作系统、应用技术、开发术语,它代表着当下最新最热的技术集群,任何一门技术都值得被尊重。

后记

经过这次分析,我们得到了很多有关技术博客的结论。技术型博客秉承互联网开放、包容的原则,为所有想要学习技术、获取解决方案的人提供最直接、最有效的前人经验,是亿万开发者共同的精神财富。

通过分析这些优秀博客创作者的博客数据,可以发现卓越的质量永远是标志博客受欢迎程度的重要考量。巨大的水文数量也许会换来短暂的排名数字,但迟早会被人们所遗忘。

同时,在知识付费的当下,也出现了少量付费文章。它们倾注了作者大量的精力,或许不能被所有人共享,但也至少应该被尊重。

愿互联网继续保持开放、自由、共享的精神,愿我们的世界越来越好。

最后非常感谢合肥工业大学冷金麟老师开设的《Python玩转大数据》公选课,通过学习这门课,我也掌握了更多与Python相关的知识,为本次分析提供了技术支持。

以上是关于信息,我找到了这些规律的主要内容,如果未能解决你的问题,请参考以下文章

信息,我找到了这些规律

信息,我找到了这些规律

用Python分析CSDN前200名作者的文章信息,我找到了这些规律

Excel纵轴交叉,如图中怎么做到的,交叉点不是0,横轴只显示整数的刻度

什么是深度学习

使用matplotlib画双纵轴坐标