汉语分词工具的研发-----

Posted 2020-09-18

当时打酱油做的大创，除了看源代码之外，什么数学原理，始终没有动手实践过，站在巨人的肩上，就这么完成了大创。。

想不到时隔两年还要被迫回来学习，所以呀  出来混  还是要脚踏实地  亲力亲为  当时偷的懒  早晚都还要还回来的。

说到分词：

一：ICTCLAS

研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)，主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典.

ICTCLAS3.0分词速度单机996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到3M，是当前世界上最好的汉语词法分析器。

而ICTCLAS采用了层叠隐马尔可夫模型（Hierarchical Hidden Markov Model），将汉语词法分析的所有环节都统一到了一个完整的理论框架中，获得最好的总体效果.

https://zhidao.baidu.com/question/489947141753803492.html（使用链接）