文字云

Posted 2020-10-17

Python +wordcloud 生成词云

什么是词云

词云又叫文字云，是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现，形成关键词的渲染形成类似云一样的彩色图片，从而一眼就可以领略文本数据的主要表达意思。

准备工作：

python开发环境、wordcloud、jieba、matplotlib、numpy 、PIL 等库文件安装好。

 

wordcloud生成词云的原理简介 
wordcloud生成词云的原理其实并不复杂，大体分成5步（具体可自行查看源码）：

wordcloud制作词云时，首先要对对文本数据进行分词，使用process_text（）方法，这一步的主要任务是去除停用词 
2.第二步是计算每个词在文本中出现的频率，生成一个哈希表。词频用于确定一个词的重要性 
3.根据词频的数值按比例生成一个图片的布局，类IntegralOccupancyMap 是该词云的算法所在，是词云的数据可视化方式的核心。生成词的颜色、位置、方向等 
4.最后将词按对应的词频在词云布局图上生成图片，核心方法是generate_from_frequencies,不论是generate（）还是generate_from_text（）都最终用到generate_from_frequencies 
完成词云上各词的着色,默认是随机着色 
5.词语的各种增强功能大都可以通过wordcloud的构造函数实现，里面提供了22个参数，还可以自行扩展。

 

#coding:utf-8

import matplotlib.pyplot as plt

from wordcloud import WordCloud,ImageColorGenerator,STOPWORDS

import jieba

import numpy as np

from PIL import Image

 

#读入背景图片

abel_mask = np.array(Image.open("filepath"))

 

#读取要生成词云的文件

text_from_file_with_apath = open(‘filepath‘).read()

 

#通过jieba分词进行分词并通过空格分隔

wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)

wl_space_split = " ".join(wordlist_after_jieba)

#my_wordcloud = WordCloud().generate(wl_space_split) 默认构造函数

my_wordcloud = WordCloud(

            background_color=‘white‘,    # 设置背景颜色

            mask = abel_mask,        # 设置背景图片

            max_words = 200,            # 设置最大现实的字数

            stopwords = STOPWORDS,        # 设置停用词

            font_path = C:/Users/Windows/fonts/simkai.ttf‘,# 设置字体格式，如不设置显示不了中文

            max_font_size = 50,            # 设置字体最大值

            random_state = 30,            # 设置有多少种随机生成状态，即有多少种配色方案

                scale=.5

                ).generate(wl_space_split)

 

# 根据图片生成词云颜色

image_colors = ImageColorGenerator(abel_mask)

#my_wordcloud.recolor(color_func=image_colors)

 

# 以下代码显示图片

plt.imshow(my_wordcloud)

plt.axis("off")

plt.show()

 

• 实例 
  生成李克强总理2017年政府工作报告词云 
  1.采用默认构造函数WordCloud().generate()生成 
   
  2.WordCloud()中设置一些参数设置mask 参数添加如下背景图案： 
   
  根据上面的背景图案，最终生成的词云时这样的： 
  

 

 

文字云

本文需要的两个Python类库 
jieba:中文分词分词工具 
wordcloud:Python下的词云生成工具

 

代码组成简介

第一部分,设置代码运行需要的大部分参数,你可以方便的直接使用该代码而不需要进行过多的修改

第二部分为jieba的一些设置,当然你也可以利用isCN参数取消中文分词

第三部分,wordcloud的设置,包括图片展示与保存

如果你想用该代码生成英文词云,那么你需要将isCN参数设置为0,并且提供英文的停用词表.

 

# - * - coding: utf - 8 -*-

from os import path

from scipy.misc import imread

import matplotlib.pyplot as plt

import jieba

# jieba.load_userdict("txt\\userdict.txt")

# 添加用户词库为主词典,原词典变为非主词典

from wordcloud import WordCloud, ImageColorGenerator

 

# 获取当前文件路径

# __file__ 为当前文件, 在ide中运行此行会报错,可改为

# d = path.dirname(‘.‘)

d = path.dirname(__file__)

 

stopwords = {}

isCN = 1 #默认启用中文分词

back_coloring_path = "img/lz1.jpg" # 设置背景图片路径

text_path = ‘txt/lz.txt‘ #设置要分析的文本路径

font_path = ‘D:\\Fonts\\simkai.ttf‘ # 为matplotlib设置中文字体路径没

stopwords_path = ‘stopwords\\stopwords1893.txt‘ # 停用词词表

imgname1 = "WordCloudDefautColors.png" # 保存的图片名字1(只按照背景图片形状)

imgname2 = "WordCloudColorsByImg.png"# 保存的图片名字2(颜色按照背景图片颜色布局生成)

 

my_words_list = [‘路明非‘] # 在结巴的词库中添加新词

 

back_coloring = imread(path.join(d, back_coloring_path))# 设置背景图片

 

# 设置词云属性

wc = WordCloud(font_path=font_path,  # 设置字体

               background_color="white",  # 背景颜色

               max_words=2000,  # 词云显示的最大词数

               mask=back_coloring,  # 设置背景图片

               max_font_size=100,  # 字体最大值

               random_state=42,

               width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离

               )

 

# 添加自己的词库分词

def add_word(list):

    for items in list:

        jieba.add_word(items)

 

add_word(my_words_list)

 

text = open(path.join(d, text_path)).read()

 

def jiebaclearText(text):

    mywordlist = []

    seg_list = jieba.cut(text, cut_all=False)

    liststr="/ ".join(seg_list)

    f_stop = open(stopwords_path)

    try:

        f_stop_text = f_stop.read( )

        f_stop_text=unicode(f_stop_text,‘utf-8‘)

    finally:

        f_stop.close( )

    f_stop_seg_list=f_stop_text.split(‘\\n‘)

    for myword in liststr.split(‘/‘):

        if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>1:

            mywordlist.append(myword)

    return ‘‘.join(mywordlist)

 

if isCN:

    text = jiebaclearText(text)

 

# 生成词云, 可以用generate输入全部文本(wordcloud对中文分词支持不好,建议启用中文分词),也可以我们计算好词频后使用generate_from_frequencies函数

wc.generate(text)

# wc.generate_from_frequencies(txt_freq)

# txt_freq例子为[(‘词a‘, 100),(‘词b‘, 90),(‘词c‘, 80)]

# 从背景图片生成颜色值

image_colors = ImageColorGenerator(back_coloring)

 

plt.figure()

# 以下代码显示图片

plt.imshow(wc)

plt.axis("off")

plt.show()

# 绘制词云

 

# 保存图片

wc.to_file(path.join(d, imgname1))

 

image_colors = ImageColorGenerator(back_coloring)

 

plt.imshow(wc.recolor(color_func=image_colors))

plt.axis("off")

# 绘制背景图片为颜色的图片

plt.figure()

plt.imshow(back_coloring, cmap=plt.cm.gray)

plt.axis("off")

plt.show()

# 保存图片

wc.to_file(path.join(d, imgname2))

 

 

 

 

 

 

 

 

 

 

 

 

我问问

词云的本质是对文本中的词进行词云统计，根据出现频率的多少来按比例展示大小.,现成的词云制作工具也很多:

1.Wordle是一个用于从文本生成词云图而提供的游戏工具.

2.Tagxedo可以在线制作个性化词云.

3.Tagul是一个Web服务,同样可以创建华丽的词云.

4.Tagcrowd还可以输入web的url,直接生成某个网页的词云.

 

首先先安装wordcloud和jieba

pip install wordcloud

pip install jieba

 

Python核心代码

 

import  matplotlib.pyplot as plt

from wordcloud import WordCloud

import jieba

 

text_from_file_with_apath =open("/Users/vander/Desktop/dada",encoding="UTF-8").read()

wordlist_after_jieba =jieba.cut(text_from_file_with_apath,cut_all=True)

wl_space_split =" ".join(wordlist_after_jieba)

my_wordcloud =WordCloud(font_path="/Library/Fonts/Songti.ttc").generate(wl_space_split)

 

plt.imshow(my_wordcloud)

plt.axis("off")

plt.show()

 

解析:

1-3行分别导入了画图的库,词云生成库和jieba的分词库.

4行是读取本地的文件.

5-6行使用jieba进行分词,并对分词的结果以空格分隔开.

7行对分词后的文本生成词云.

8-10行用pyplot展示词云图.