IKAnalyzer分词工具不能处理完所有数据,中途中断

Posted slhs

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了IKAnalyzer分词工具不能处理完所有数据,中途中断相关的知识,希望对你有一定的参考价值。

不知道为什么,本来1万条的数据在进行分词时候,只分了8千就结束了。试了另一批数据2万条的数据,可以完全分完。

后来把jar包的版本更换掉:将2013版的换成2012_u6版的,就可以正确分词了。

在进行更换jar包时,注意将无用的jar包Remove掉,否则会出现项目文件夹上面出现红色感叹号的情况!

2012jar包下载地址:http://lxw1234.com/archives/2015/07/422.htm

 

 技术分享图片

技术分享图片

 

以上是关于IKAnalyzer分词工具不能处理完所有数据,中途中断的主要内容,如果未能解决你的问题,请参考以下文章

基于JAVA的IKAnalyzer中文分词运用

IKAnalyzer进行中文分词和去停用词

java分词工具-ANSJ与IKAnalyzer比较分析

ikanalyzer 可以做词性标注吗

13.solr学习速成之IK分词器

方便Lucene高版本使用IKAnalyzer分词包