如何将关键词出现的频率用词云表现出来

Posted 2023-05-12

关键词频率(Keyword Frequency)与关键词密度(Keyword Density)所阐述的实质上是同一个概念，用来量度关键词在网页上出现的总次数与其他文字的比例，一般用百分比表示。相对于页面总字数而言，关键词出现的频率越高，关键词密度也就越大。很多SEO前辈都回答过这个问题。答案分别是:2-9%、3-8%、低于10%、5%左右，你自己选一个吧。关键词密度是一个模糊的概念而不是绝对。不要太在意关键词密度值，合理优化即可。关键词密度是一个模糊的概念，没有一个准确的公式来限定其密度。各家搜索引擎的密度值控制都不一样，甚至是同一家的搜索引擎，对不同网站的关键词密度的大小所能允许的容忍阈值也不相同，比如同样一个页面，新浪、CCTV的网站密度值达到20%可能就没有什么事情，你的估计就马上被屏蔽了。这还涉及到了搜索引擎的信任值问题。
关键词密度并不是越高越好。一般说来，在大多数的搜索引擎中，关键词密度在2%~8%是一个较为适当的范围，有利于网站在搜索引擎中排名，同时也不虞被搜索引擎视为关键词Spam。个人感觉在百度上的关键字密度对排名较为重要，5%左右的密度应该是比较理想的，Google的可以更高些。
要正确理解关键词密度，首先得理解什么是关键词?关键词就是搜索者在查找信息、产品或服务时，在搜索引擎界面中输入的词条。一般的规则是，关键词越长，从搜索引擎索引中返回的信息也就越精确。关键词密度(Keyword Density)也叫关键词频率(Keyword Frequency)，所阐述的实质上是同一个概念，它是用来量度关键词在网页上出现的总次数与其他文字的比例，一般用百分比表示。相对于页面总字数而言，关键词出现的频率越高，那么关键词密度也就越大。简单地举个例子，如果某个网页共有100个字符，而关键词本身是两个字符并在其中出现5次，则可以说关键词密度为10%。
当然，这个例子只是一种理想的简化方式，它没有有效包括html代码里面的诸如meta 标签中的Title、Keywords、Description，图像元素的Alt文本、注释文本等，这些在计算关键词密度时也都要考虑在内的。同样地，在计算关键词密度时，也不仅仅指网页可见部分中关键词出现的次数，也包括在上文中提到的非可见部分中的出现次数。同时，也要考虑Stop Words(停用词) ，这些词往往会在很大程度上稀释关键词密度。搜索引擎在算法上要比这复杂得多，但基本策略与此近似。
查询方法
推荐上"页面关键词密度查询"查询网页关键词的密度。
相对百度，Google搜索引擎赋予关键词密度的权重更小了，很多排名靠前的网页关键词密度可能高到20%以上，也可能完全没有关键词。独孤天骄曾经专门就这个观点做个实践，通过一个布满关键词的页面进行观察，百度更重视的是关键词密度，而Google相对而言，重视更多的则是外部链接的建立。 参考技术A 可以使用【兔牙词云】这个手机APP，词、短语、句子都能组成词云图，也能从文章或者网页提取文本内容分析词频之后生成词云图，而且可以自定义字体、形状、颜色等，很好用。相比网页版，手机APP使用起来更方便。最重要的是，对于中文十分友好，而且有新词发现功能，对于新出来的流行词，也能很好地处理。

文字云

Python +wordcloud 生成词云

什么是词云

词云又叫文字云，是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼就可以领略文本数据的主要表达意思。

准备工作：

python开发环境、wordcloud、jieba、matplotlib、numpy 、PIL 等库文件安装好。

 

wordcloud生成词云的原理简介 
wordcloud生成词云的原理其实并不复杂，大体分成5步（具体可自行查看源码）：

wordcloud制作词云时，首先要对对文本数据进行分词，使用process_text（）方法，这一步的主要任务是去除停用词 
2.第二步是计算每个词在文本中出现的频率，生成一个哈希表。词频用于确定一个词的重要性 
3.根据词频的数值按比例生成一个图片的布局，类IntegralOccupancyMap 是该词云的算法所在，是词云的数据可视化方式的核心。生成词的颜色、位置、方向等 
4.最后将词按对应的词频在词云布局图上生成图片，核心方法是generate_from_frequencies,不论是generate（）还是generate_from_text（）都最终用到generate_from_frequencies 
完成词云上各词的着色,默认是随机着色 
5.词语的各种增强功能大都可以通过wordcloud的构造函数实现，里面提供了22个参数，还可以自行扩展。

 

#coding:utf-8

import matplotlib.pyplot as plt

from wordcloud import WordCloud,ImageColorGenerator,STOPWORDS

import jieba

import numpy as np

from PIL import Image

 

#读入背景图片

abel_mask = np.array(Image.open("filepath"))

 

#读取要生成词云的文件

text_from_file_with_apath = open(‘filepath‘).read()

 

#通过jieba分词进行分词并通过空格分隔

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)

wl_space_split = " ".join(wordlist_after_jieba)

#my_wordcloud = WordCloud().generate(wl_space_split) 默认构造函数

my_wordcloud = WordCloud(

            background_color=‘white‘,    # 设置背景颜色

            mask = abel_mask,        # 设置背景图片

            max_words = 200,            # 设置最大现实的字数

            stopwords = STOPWORDS,        # 设置停用词

            font_path = C:/Users/Windows/fonts/simkai.ttf‘,# 设置字体格式，如不设置显示不了中文

            max_font_size = 50,            # 设置字体最大值

            random_state = 30,            # 设置有多少种随机生成状态，即有多少种配色方案

                scale=.5

                ).generate(wl_space_split)

 

# 根据图片生成词云颜色

image_colors = ImageColorGenerator(abel_mask)

#my_wordcloud.recolor(color_func=image_colors)

 

# 以下代码显示图片

plt.imshow(my_wordcloud)

plt.axis("off")

plt.show()

 

• 实例 
  生成李克强总理2017年政府工作报告词云 
  1.采用默认构造函数WordCloud().generate()生成 
   
  2.WordCloud()中设置一些参数设置mask 参数添加如下背景图案： 
   
  根据上面的背景图案，最终生成的词云时这样的： 
  

 

 

文字云

本文需要的两个Python类库 
jieba:中文分词分词工具 
wordcloud:Python下的词云生成工具

 

代码组成简介

第一部分,设置代码运行需要的大部分参数,你可以方便的直接使用该代码而不需要进行过多的修改

第二部分为jieba的一些设置,当然你也可以利用isCN参数取消中文分词

第三部分,wordcloud的设置,包括图片展示与保存

如果你想用该代码生成英文词云,那么你需要将isCN参数设置为0,并且提供英文的停用词表.

 

# - * - coding: utf - 8 -*-

from os import path

from scipy.misc import imread

import matplotlib.pyplot as plt

import jieba

# jieba.load_userdict("txt\\userdict.txt")

# 添加用户词库为主词典,原词典变为非主词典

from wordcloud import WordCloud, ImageColorGenerator

 

# 获取当前文件路径

# __file__ 为当前文件, 在ide中运行此行会报错,可改为

# d = path.dirname(‘.‘)

d = path.dirname(__file__)

 

stopwords = {}

isCN = 1 #默认启用中文分词

back_coloring_path = "img/lz1.jpg" # 设置背景图片路径

text_path = ‘txt/lz.txt‘ #设置要分析的文本路径

font_path = ‘D:\\Fonts\\simkai.ttf‘ # 为matplotlib设置中文字体路径没

stopwords_path = ‘stopwords\\stopwords1893.txt‘ # 停用词词表

imgname1 = "WordCloudDefautColors.png" # 保存的图片名字1(只按照背景图片形状)

imgname2 = "WordCloudColorsByImg.png"# 保存的图片名字2(颜色按照背景图片颜色布局生成)

 

my_words_list = [‘路明非‘] # 在结巴的词库中添加新词

 

back_coloring = imread(path.join(d, back_coloring_path))# 设置背景图片

 

# 设置词云属性

wc = WordCloud(font_path=font_path,  # 设置字体

               background_color="white",  # 背景颜色

               max_words=2000,  # 词云显示的最大词数

               mask=back_coloring,  # 设置背景图片

               max_font_size=100,  # 字体最大值

               random_state=42,

               width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离

               )

 

# 添加自己的词库分词

def add_word(list):

    for items in list:

        jieba.add_word(items)

 

add_word(my_words_list)

 

text = open(path.join(d, text_path)).read()

 

def jiebaclearText(text):

    mywordlist = []

    seg_list = jieba.cut(text, cut_all=False)

    liststr="/ ".join(seg_list)

    f_stop = open(stopwords_path)

    try:

        f_stop_text = f_stop.read( )

        f_stop_text=unicode(f_stop_text,‘utf-8‘)

    finally:

        f_stop.close( )

    f_stop_seg_list=f_stop_text.split(‘\\n‘)

    for myword in liststr.split(‘/‘):

        if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>1:

            mywordlist.append(myword)

    return ‘‘.join(mywordlist)

 

if isCN:

    text = jiebaclearText(text)

 

# 生成词云, 可以用generate输入全部文本(wordcloud对中文分词支持不好,建议启用中文分词),也可以我们计算好词频后使用generate_from_frequencies函数

wc.generate(text)

# wc.generate_from_frequencies(txt_freq)

# txt_freq例子为[(‘词a‘, 100),(‘词b‘, 90),(‘词c‘, 80)]

# 从背景图片生成颜色值

image_colors = ImageColorGenerator(back_coloring)

 

plt.figure()

# 以下代码显示图片

plt.imshow(wc)

plt.axis("off")

plt.show()

# 绘制词云

 

# 保存图片

wc.to_file(path.join(d, imgname1))

 

image_colors = ImageColorGenerator(back_coloring)

 

plt.imshow(wc.recolor(color_func=image_colors))

plt.axis("off")

# 绘制背景图片为颜色的图片

plt.figure()

plt.imshow(back_coloring, cmap=plt.cm.gray)

plt.axis("off")

plt.show()

# 保存图片

wc.to_file(path.join(d, imgname2))

 

 

 

 

 

 

 

 

 

 

 

 

我问问

词云的本质是对文本中的词进行词云统计，根据出现频率的多少来按比例展示大小.,现成的词云制作工具也很多:

1.Wordle是一个用于从文本生成词云图而提供的游戏工具.

2.Tagxedo可以在线制作个性化词云.

3.Tagul是一个Web服务,同样可以创建华丽的词云.

4.Tagcrowd还可以输入web的url,直接生成某个网页的词云.

 

首先先安装wordcloud和jieba

pip install wordcloud

pip install jieba

 

Python核心代码

 

import  matplotlib.pyplot as plt

from wordcloud import WordCloud

import jieba

 

text_from_file_with_apath =open("/Users/vander/Desktop/dada",encoding="UTF-8").read()

wordlist_after_jieba =jieba.cut(text_from_file_with_apath,cut_all=True)

wl_space_split =" ".join(wordlist_after_jieba)

my_wordcloud =WordCloud(font_path="/Library/Fonts/Songti.ttc").generate(wl_space_split)

 

plt.imshow(my_wordcloud)

plt.axis("off")

plt.show()

 

解析:

1-3行分别导入了画图的库,词云生成库和jieba的分词库.

4行是读取本地的文件.

5-6行使用jieba进行分词,并对分词的结果以空格分隔开.

7行对分词后的文本生成词云.

8-10行用pyplot展示词云图.