lucene自定义过滤器
Posted 皎陽
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了lucene自定义过滤器相关的知识,希望对你有一定的参考价值。
先介绍下查询与过滤的区别和联系,其实查询(各种Query)和过滤(各种Filter)之间非常相似,可以这样说只要用Query能完成的事,用过滤也都可以完成,它们之间可以相互转换,最大的区别就是使用过滤返回的结果集不带评分操作,而使用Query返回的结果都是带相关性评分的,所以当我们如果有一些跟评分操作没有关系的业务,优先使用Filter操作,将会获取更好的性能,其实这也是Solr里面的q参数跟fq参数的区别。
下面,开始进入正题,在这之前,散仙还是喜欢老生常谈的先来了解一下Lucene里面有关于Filter的整体知识
下面,我们来看下具体的在代码里怎么实现,先来看下我们的测试数据
- id score bookname ename type price date
- 1 1 飘渺之旅 pmzl 小说 52.23 201005
- 2 1 三国演义 sgyy 小说 36.13 201207
- 3 1 数据库实战 sjksz 技术 77.13 200811
- 4 1 编程宝典 bcbd 技术 100.3 200501
- 5 1 职场关系论 zcgxl 职场 36.59 200501
- 6 1 健康生活 jksh 生活 20.47 200008
- 7 1 看清本质 kqbz 社会 10.37 201004
- 8 1 编程,编程 bcbc 社会 10.37 201004
核心代码
- //使用过滤器 最后一个为true时包含边界部分,为false时不包含边界部分
- //倒数第二个为true时,包含查询边界,为false时不包含
- TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true);
- TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
核心代码
- NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);
- TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
- 2 1 三国演义 sgyy 小说 36.13 201207
- 5 1 职场关系论 zcgxl 职场 36.59 200501
- 6 1 健康生活 jksh 生活 20.47 200008
- 7 1 看清本质 kqbz 社会 10.37 201004
- 8 1 编程,编程 bcbc 社会 10.37 201004
核心代码
- //使用缓存过滤
- Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true);
- TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
核心代码
- // 缓存域过滤特定的类别
- Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"});
- TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
- 3 1 数据库实战 sjksz 技术 77.13 200811
- 4 1 编程宝典 bcbd 技术 100.3 200501
- 7 1 看清本质 kqbz 社会 10.37 201004
- 8 1 编程,编程 bcbc 社会 10.37 201004
核心代码
- //使用QueryWrapperFilter类包装一个Query
- QueryWrapperFilter filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术")));
- TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
最后我来看下,如何继承Filter基类,来定制我们自己的filter,自定义的Filter,虽然某些时候,功能很强大灵活,但是有几个缺点,我们的了解1,保证是内容不重复的字段,例如主键,如果重复,默认返回第一个作为结果集显示2,保证不能被分词的内容,如果是分词的字段,则可能会出现一些不正确的结果。
自定义Filter类
- package com.sanjiesanxian.test;
- import java.io.IOException;
- import java.util.BitSet;
- import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
- import org.apache.lucene.index.AtomicReaderContext;
- import org.apache.lucene.index.DocsEnum;
- import org.apache.lucene.index.Term;
- import org.apache.lucene.search.DocIdSet;
- import org.apache.lucene.search.Filter;
- import org.apache.lucene.util.AttributeSource;
- import org.apache.lucene.util.Bits;
- import org.apache.lucene.util.DocIdBitSet;
- import org.apache.lucene.util.FixedBitSet;
- import org.apache.lucene.util.OpenBitSet;
- /***
- *^_^ ^_^ ^_^
- * 自定义过滤器
- * @author
- * */
- public class MyCustomFilter extends Filter{
- public MyCustomFilter() {
- // TODO Auto-generated constructor stub
- }
- private String[] terms;//限制返回的数据字典
- public MyCustomFilter(String ...terms) {
- // TODO Auto-generated constructor stub
- this.terms=terms;
- }
- @Override
- public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1)
- throws IOException {
- FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc()) ;//获取没有所有的docid包括未删除的
- int base=arg0.docBase;//段的相对基数,保证多个段时相对位置正确
- //int limit=base+arg0.reader().maxDoc();//计算最大限制值
- for(String s:terms){
- DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));//必须是唯一的不重复
- //保证是单个不重复的term,如果重复的话,默认会取第一个作为返回结果集,分词后的term也不适用自定义term
- if(doc.nextDoc()!=-1){
- bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面
- }
- }
- return bits;
- }
- }
测试查询代码
- MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项
- TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);
输出结果
- 2 1 三国演义 sgyy 小说 36.13 201207
- 3 1 数据库实战 sjksz 技术 77.13 200811
- 5 1 职场关系论 zcgxl 职场 36.59 200501
自定义过滤器虽然有缺点,但是某些场景下却能发挥很灵活的作用,特别是对没有分词的字段进行过滤操作。
以上是关于lucene自定义过滤器的主要内容,如果未能解决你的问题,请参考以下文章