自定义Lucene分词器示例

Posted 2020-07-27 bruce128

    集团的内部通讯工具搜同事时，需要根据姓名后缀进行搜索。譬如“徐欢春”，我们要能根据“欢春”搜出这个人；“黄继刚”，要根据“继刚”为关键字搜出“黄继刚”。这是个很人性化的用户体验，当我们有同事的名字是三个字的时候，我们通常会叫他们名字的最后两个字。Lucene本身并没有提供这种分词器，只能自己照着Lucene已有的分词器进行模仿开发。

    参照ngram分词器进行开发。

    要定制这个后缀分词器，实现一个Tokenizer和一个工厂类就可以了。Tokenizer类是实际分词是要用到的类。为了方便单元测试，额外增加一个Analyzer类。

分词器类

package org.apache.lucene.analysis.suffix;

import java.io.IOException;
import java.io.Reader;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;

/**
 * 用于姓名取后缀的分词器
 * 
 * @author cdlvsheng
 *         date : 2014年9月23日
 *         time : 下午1:49:36
 *         project : im-solr-web
 *         user : cdlvsheng
 */
public class SuffixTokenizer extends Tokenizer {

	private Log						LOG			= LogFactory.getLog(SuffixTokenizer.class);

	private char[]					buffer		= new char[1024];
	private int						suffixOffset;
	private static int				MAX_SIZE;
	private int						termSize;

	private final CharTermAttribute	termAtt		= addAttribute(CharTermAttribute.class);
	private final OffsetAttribute	offsetAtt	= addAttribute(OffsetAttribute.class);

	protected SuffixTokenizer(Reader input) {
		super(input);
	}

	protected SuffixTokenizer(AttributeFactory factory, Reader input) {
		super(factory, input);
	}

	@Override
	public boolean incrementToken() throws IOException {
		try {
			clearAttributes();

			if (termSize != -1) {
				termSize = input.read(buffer);
				if (termSize >= 0) {
					MAX_SIZE = termSize;
				}
			}

			if (suffixOffset + 1 >= MAX_SIZE) {
				return false;
			}

			termAtt.copyBuffer(buffer, suffixOffset, MAX_SIZE);

			termAtt.setLength(MAX_SIZE - suffixOffset);
			offsetAtt.setOffset(correctOffset(suffixOffset), correctOffset(MAX_SIZE));
			LOG.debug(termAtt.buffer());
			suffixOffset++;
		} catch (Exception e) {
			LOG.error(e.getMessage(), e);
		}
		return true;
	}

	@Override
	public final void end() {
		final int finalOffset = correctOffset(suffixOffset);
		this.offsetAtt.setOffset(finalOffset, finalOffset);
	}

	@Override
	public void reset() throws IOException {
		super.reset();
		termSize = 1;
		suffixOffset = 1;
		MAX_SIZE = 0;
	}
}

    incrementToken方法是实际分词时用到的方法。一会单元测试时可以看出它的作用。

工厂类

package org.apache.lucene.analysis.suffix;

import java.io.Reader;
import java.util.Map;

import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.util.TokenizerFactory;
import org.apache.lucene.util.AttributeSource.AttributeFactory;

public class SuffixTokenizerFactory extends TokenizerFactory {

	public SuffixTokenizerFactory(Map<String, String> args) {
		super(args);
	}

	@Override
	public Tokenizer create(AttributeFactory factory, Reader input) {
		return new SuffixTokenizer(factory, input);
	}
}

    工厂类的作用就是产生分词器类的实例。

以上是关于自定义Lucene分词器示例的主要内容，如果未能解决你的问题，请参考以下文章

lucene_07_solr使用IK分词器

solr添加中文IK分词器,以及配置自定义词库

lucene定义自己的分词器将其分成单个字符

java 中文分词为啥用 ik

Lucene 4.4.0中常用的几个分词器

ik分词器 能不能自己增加关键字 怎么操作