吊炸天企业级搜索引擎-Solr

Posted 2021-05-02 Java高级架构师

1、 Solr简介

Solr是一个基于Lucene的java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，较为成熟和稳定。Solr 包装并扩展了 Lucene，所以Solr的基本上沿用了Lucene的相关术语。更重要的是，Solr 创建的索引与 Lucene 搜索引擎库完全兼容。通过对Solr 进行适当的配置，某些情况下可能需要进行编码，Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。此外，很多 Lucene 工具（如Nutch、 Luke）也可以使用Solr 创建的索引。

2、 Tomcat下Solr安装配置
由于Solr基于java开发，因此Solr在windows及Linux都能较好部署使用，但由于Solr提供了一些用于测试及管理、维护较为方便的shell脚本，因此在生产部署时候建议安装在Linux上，测试时候可以在windows使用。

 

下面以Linux下安装配置Solr进行说明，windows与此类似。
wget http://apache.mirror.phpchina.com/tomcat/tomcat-6/v6.0.16/bin/apache-tomcat-6.0.16.zip
unzip apache-tomcat-6.0.16.zip
mv apache-tomcat-6.0.16 /opt/tomcat
chmod 755 /opt/tomcat/bin/*
wget http://apache.mirror.phpchina.com/lucene/solr/1.2/apache-solr-1.2.0.tgz
tar zxvf apache-solr-1.2.0.tgz

Solr的安装配置最为麻烦的是对solr.solr.home的理解和配置，主要有三种

 

（1）基于当前路径的方式 
cp apache-solr-1.2.0/dist/apache-solr-1.2.0.war /opt/tomcat/webapps/solr.war
mkdir /opt/solr-tomcat
cp -r apache-solr-1.2.0/example/solr/ /opt/solr-tomcat/
cd /opt/solr-tomcat
/opt/tomcat/bin/startup.sh

由于在此种情况下（没有设定solr.solr.home环境变量或JNDI的情况下），Solr查找./solr，因此在启动时候需要切换到/opt/solr-tomcat

 

（2）基于环境变量solr.solr.home
在当前用户的环境变量中（.bash_profile）或在/opt/tomcat/catalina.sh中添加如下环境变量
export JAVA_OPTS="$JAVA_OPTS -Dsolr.solr.home=/opt/solr-tomcat/solr"

（3）基于JNDI配置 
mkdir –p /opt/tomcat/conf/Catalina/localhost
touch /opt/tomcat/conf/Catalina/localhost/solr.xml 

内容如下:

访问solr管理界面 http://ip:port/solr

3、 Solr原理

Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。在 Solr 中，用户通过向部署在servlet 容器中的 Solr Web 应用程序发送 HTTP 请求来启动索引和搜索。Solr 接受请求，确定要使用的适当SolrRequestHandler，然后处理请求。通过 HTTP 以同样的方式返回响应。默认配置返回Solr 的标准 XML 响应，也可以配置Solr 的备用响应格式。

可以向 Solr 索引 servlet 传递四个不同的索引请求：

• add/update 允许向 Solr 添加文档或更新文档。直到提交后才能搜索到这些添加和更新。

• commit 告诉 Solr，应该使上次提交以来所做的所有更改都可以搜索到。

• optimize 重构 Lucene 的文件以改进搜索性能。索引完成后执行一下优化通常比较好。如果更新比较频繁，则应该在使用率较低的时候安排优化。一个索引无需优化也可以正常地运行。优化是一个耗时较多的过程。

• delete 可以通过 id 或查询来指定。按 id 删除将删除具有指定 id 的文档；按查询删除将删除查询返回的所有文档。

一个典型的Add请求报文：

一个典型的搜索结果报文：

4、 Solr的测试使用

Solr的安装包包含了相关的测试样例，路径在apache-solr-1.2.0/example/exampledocs

1. 使用shell脚本（curl）测试Solr的操作：
cd apache-solr-1.2.0/example/exampledocs

vi post.sh，根据tomcat的ip、port修改URL变量的值URL=http://localhost:8080/solr/update
./post.sh *.xml  # 

2. 使用Solr的java 包测试Solr的操作：
查看帮助：

java -jar post.jar –help

提交测试数据：
java -Durl=http://localhost:8080/solr/update -Ddata=files -jar post.jar  *.xml     

下面以增加索引字段liangchuan、url为例，说明一下Solr中索引命令的使用

1) 修改solr的schema，配置需要索引字段的说明：
vi /opt/solr-tomcat/solr/conf/schema.xml ,在<fields>中增加如下内容

2) 创建增加索引请求的xml测试文件
touch /root/apache-solr-1.2.0/example/exampledocs/liangchuan.xml,内容如下：

3) 提交索引请求
cd apache-solr-1.2.0/example/exampledocs
./post.sh liangchuan.xml

4) 查询
通过solr的管理员界面http://localhost:8080/solr/admin查询
或通过curl 测试：
export URL="http://localhost:8080/solr/select/"
curl "$URL?indent=on&q=liangchuan&fl=*,score"

5、Solr查询条件参数说明
参数     描述     示例
q：

Solr 中用来搜索的查询。可以通过追加一个分号和已索引且未进行断词的字段的名称来包含排序信息。默认的排序是 score desc，指按记分降序排序。    
q=myField:java AND otherField:developerWorks; date asc
此查询搜索指定的两个字段并根据一个日期字段对结果进行排序。

 

start：

将初始偏移量指定到结果集中。可用于对结果进行分页。默认值为 0。     
start=15

返回从第 15 个结果开始的结果。

 

rows：

返回文档的最大数目。默认值为 10。     rows=25

 

fq：

提供一个可选的筛选器查询。查询结果被限制为仅搜索筛选器查询返回的结果。筛选过的查询由 Solr 进行缓存。它们对提高复杂查询的速度非常有用。
任何可以用 q 参数传递的有效查询，排序信息除外。

 

hl：

当 hl=true 时，在查询响应中醒目显示片段。默认为 false。参看醒目显示参数上的 Solr Wiki 部分可以查看更多选项     hl=true

 

fl：

作为逗号分隔的列表指定文档结果中应返回的 Field 集。默认为 “*”，指所有的字段。

要想获取更多java技术资讯

进行关注吧↓↓↓