编程实践Golang 实现中文分词

Posted 2023-03-12 禅与计算机程序设计艺术

Golang 实现中文分词

分词技术就是搜索引擎针对用户提交查询的关键词串进行的查询处理后根据用户的关键词串用各种匹配方法进行分词的一种技术。

中文分词（Chinese Word Segmentation）指的是将一个汉字序列（句子）切分成一个一个的单独的词，分词就是将连续的字序列按照一定的规则重新组合成词序列的过程。

现在分词方法大致有三种：基于字符串配置的分词方法、基于理解的分词方法和基于统计的分词方法。

今天为大家分享一个国内使用人数最多的中文分词工具GoJieba。

源代码地址：GitHub - yanyiwu/gojieba: "结巴"中文分词的Golang版本

官方文档：http://www.github.com/yanyiwu/gojieba/wiki

1.1.1. 官方介绍

支持多种分词方式，包括: 最大概率模式, HMM新词发现模式, 搜索引擎模式, 全模式

• 核心算法底层由C++实现，性能高效。