JAVA实现智能分词

Posted yvioo

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了JAVA实现智能分词相关的知识,希望对你有一定的参考价值。

 

 

 

 

 

/**
     *
     * @param keyword 源词汇
     * @param smart 是否智能分词
     * @return 分词词组(,拼接)
     */
    public static String getKeywords(String keyword, boolean smart) {
        StringReader reader = new StringReader(keyword);
        IKSegmenter iks = new IKSegmenter(reader, smart);
        StringBuilder buffer = new StringBuilder();
        try {
            Lexeme lexeme;
            while ((lexeme = iks.next()) != null) {
                buffer.append(lexeme.getLexemeText()).append(‘,‘);
            }
        } catch (IOException e) {
        }
        //去除最后一个,
        if (buffer.length() > 0) {
            buffer.setLength(buffer.length() - 1);
        }
        return buffer.toString();
    }

  

以上是关于JAVA实现智能分词的主要内容,如果未能解决你的问题,请参考以下文章

学习深度解析中文分词器算法(最大正向/逆向匹配)

为什么中文分词比英文分词更难?有哪些常用算法?(附代码)

NLP为什么中文分词比英文分词更难?有哪些常用算法?(附代码)

Java 简易实现分词器功能

结巴分词 java 高性能实现,是 huaban jieba 速度的 2倍

中文分词-jieba#人工智能