代码实现part1 中文分词

Posted 2021-04-24 角色分布图

part1 中文分词

主要步骤：

1. 列出统计词、读取小说文本

2. 将统计词加入自定义词典，实现精准分词。原因：

    1. 避免其他字干扰，例如道、向，使“张三”分成张三道、三道、三向……

    2. 由于默认分成两字，两字以上的"张三四"可能分成张三、三四

3. 分词

4. 去除停用词。耗时

5. 保存结果

import jieba

# 列出统计词
name_ls = ['张三', '李四']

# 读取小说文本
with open('./小说.txt', 'r', encoding='utf-8') as f:
    text = f.read()

# 将统计词加入自定义词典，实现精准分词
[jieba.add_word(i, tag='d') for i in name_ls]

# 分词
words_after_jieba = jieba.lcut(text)

# 读取停用词表。可在网上下载并补充
with open('./stopwords.txt', 'r', encoding='utf-8') as f:
    stopwords = f.read().strip().split('\n')
# 去除停用词，以及单字的分词
word_list = []
for i in words_after_jieba:
    if len(i) > 1 and i not in stopwords:
        word_list.append(i)
    elif i in '朕':  # 保留的单字分词
        word_list.append(i)

# 保存分词结果
with open('./小说_jieba.txt', 'w', encoding='utf-8') as f:
    f.write('\n'.join(word_list))

编程语言: python

源码太长难看，不直接发。上面代码块是从源码选取修改的，没有实际运行过，而且排版过程中不确定有没丢失字符串，使用时注意下。