lucene索引查看工具luke和文本提取工具Tika

Posted 2020-10-31 lnlvinso

　　luke可以方便的查看lucene的索引信息，当然也可以查看solr和es中的索引信息(基于lucene实现)。

       查看索引前，要注意lucene版本的问题，高版本的lucene用低版本的luke工具就可能无法打开。

       记得以前用luke还可以实现索引修复的功能，会把有错误的段segment删掉，使用前备份。

       关于luke的使用后面补上。

 

       Tika是一个文本提取工具，可以从word，pdf，excel等文件中提取内容，为es等提供数据源。图片信息可以只分析标题大小，没必要记录RGB颜色信息。

       Tika基于文件的“魔数”来识别文档类型和编码类型，类似于java的class文件都是以CF BB开头的。标准的文档，基于前面的字节就可以识别出来。

       Tika在识别中文时，可能会出现乱码的情况，记得文档中提到，可能是GB2312字符集的识别有概率出错的问题。有机会具体再看下。