Solr和Spring Data Solr

Posted 2021-04-28 顶哥说

一.Solr概述与安装

1.Solr简介

        Solr是一个开源搜索平台，用于构建搜索应用程序。 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。Solr可以和Hadoop(http://www.yiibai.com/hadoop/)一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种非关系数据存储和处理技术。总之，Solr是一个可扩展的，可部署，搜索/存储引擎，优化搜索大量以文本为中心的数据。

2.Linux下Solr的安装

1：把Tomcat安装包导入Linux系统，解压 Tomcat并重命名tomcat-solr

2：导入solr的Linux安装包到Linux服务器，解压 solr-4.10.3.tgz.tgz。

命令：tar -zxvf solr-4.10.3.tgz.tgz

3：把 solr 下的example/webapps/solr.war部署到 Tomcat-solr\webapps下(去掉版本号)。

命令：cp solr-4.10.3/example/webapps/solr.war tomcat-solr/webapps/

4：使用命令解压：unzip -oq solr.war -d solr

5：把solr下example/lib/ext 目录下的所有的 jar 包，添加到 solr 的工程中(\WEB-INF\lib目录下)。

命令：cp solr-4.10.3/example/lib/ext/* tomcat-solr/webapps/solr/WEB-INF/lib/

6：创建一个索引仓库。solr 下的/example/solr 目录就是一个索引仓库。复制此目录【solr】到任意磁盘即可完 成自定义索引仓库创建。

命令：cp -r solr-4.10.3/example/solr . (把solr索引库仓库文件夹拷贝当前目录;  . 表示当前目录)

7：关联tomcat服务器中 solr项目 和 索引仓库solr。修改Tomcat/bin/catalina.sh文件指定索引仓库路径即可

 //在Tomcat/bin/catalina.sh第二行指定索引仓库路径即可 export JAVA_OPTS="-Dsolr.solr.home=/usr/local/dintalk/singleSolr/solr"

8：启动 Tomcat

http://IP:8080/solr/

9.加载contrib,dist依赖类库

把solr-4.10.3/contrib,dist 文件夹拷贝 索引仓库目录下（和索引库在同一级目录）

命令：cp -r solr-4.10.3/contrib/ solr-4.10.3/dist/ solr

配置solr索引库中核心配置文件：solrConfig.xml 加载contrib，dist依赖jar包

3.中文分析器IK Analyzer的安装

IK Analyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。

3.1IK Analyzer配置

1、把IKAnalyzer2012FF_u1.jar 添加到 solr 工程的 lib 目录下

2、创建WEB-INF/classes（手动创建）文件夹  把扩展词典、停用词词典、配置文件放到 solr 工程的 WEB- INF/classes 目录下：

3、修改 索引库 的 schema.xml 文件，配置一个 FieldType，使用 IKAnalyzer。

<fieldType name="text_ik" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/></fieldType>

4.业务域配置

域相当于数据库的表字段，用户存放数据，因此用户根据业务需要去定义相关的Field（域），一般来说，每一种对应着一种数据，用户对同一种数据进行相同的操作。

域的常用属性：

• name：指定域的名称

• type：指定域的类型

• indexed：是否索引

• stored：是否存储

• required：是否必须

• multiValued：是否多值

4.1普通域

修改solrhome的schema.xml 文件  设置业务系统 Field :

<!-- 域的配置 :普通域 --><!--name:字段名称 type:字段类型 stored:是否存储分词前内容(复制域选择false) required:是否必填 indexed：索引(是否进行查询) --><field name="item_goodsid" type="long" indexed="true" stored="true"/><field name="item_title" type="text_ik" indexed="true" stored="true"/><field name="item_price" type="double" indexed="true" stored="true"/><field name="item_image" type="string" indexed="false" stored="true" /><field name="item_category" type="string" indexed="true" stored="true" /><field name="item_seller" type="text_ik" indexed="true" stored="true" /><field name="item_brand" type="string" indexed="true" stored="true" />

4.2复制域

复制域的作用在于将某一个Field中的数据复制到另一个域中 :

<!-- 域的配置 :复制域 --><!--multiValued 是否有多值 stored="false" 不需要存储 --><field name="item_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/><copyField source="item_title" dest="item_keywords"/><copyField source="item_category" dest="item_keywords"/><copyField source="item_seller" dest="item_keywords"/><copyField source="item_brand" dest="item_keywords"/>

4.3动态域

当我们需要动态扩充字段时，我们需要使用动态域。所以我们需要使用动态域来实现。需要实现的效果示例如下 :

<!-- 域的配置:动态域 --><!--因为数据中的item_spec_后面的内容不固定所以用*号代替(即动态查询条件匹配) --><dynamicField name="item_spec_*" type="string" indexed="true" stored="true" />

二.Spring Data Solr

如何将Solr的应用集成到Spring中？Spring Data Solr就是为了方便Solr的开发所研制的一个框架，其底层是对SolrJ（官方API）的封装。

1.Spring Data Solr 使用步骤

第一步:导入相关坐标

<!-- SpringDataSolr的坐标 --><dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-solr</artifactId> <version>1.5.5.RELEASE</version></dependency>

第二步:resources下编写配置文件(applicationContext-solr.xml)

<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:solr="http://www.springframework.org/schema/data/solr" xsi:schemaLocation="http://www.springframework.org/schema/data/solr http://www.springframework.org/schema/data/solr/spring-solr-1.0.xsd http://www.springframework.org/schema/beans  http://www.springframework.org/schema/beans/spring-beans.xsd">  <!-- 0.配置包扫描(注解)  <context:component-scan base-package="cn.dintalk.solrutil"></context:component-scan> -->  <!-- 1.solr服务器地址 --> <solr:solr-server id="solrServer" url="http://127.0.0.1:8080/solr"/>
 <!-- 2.solr模板，使用solr模板可对索引库进行CRUD的操作 --> <bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate"> <constructor-arg ref="solrServer"/> </bean></beans>

第三步:为操作的实体类添加@Filed注解

public class TbItem implements Serializable{  // id 和solr中的主键名称一致可以不用写 @Field private Long id;  @Field("item_title") private String title;
 @Field("item_image") private String image; ...

第四步:基本的CRUD

/** * 测试Solr的简单操作 * @author Mr.song * @date 2019/06/13 16:55 */@RunWith(SpringJUnit4ClassRunner.class)@ContextConfiguration("classpath:applicationContext-solr.xml")public class SolrTest {
 @Autowired private SolrTemplate solrTemplate;
 @Test //增加item public void testAddItemToSolrHome(){ TbItem item = new TbItem(); item.setId(1L); item.setTitle("测试Title"); item.setImage("这是图片"); solrTemplate.saveBean(item); //增删改需要提交 solrTemplate.commit(); }
 //重新赋值便是更新
 @Test //根据主键查询 public void testQueryById(){ TbItem item = solrTemplate.getById(1L, TbItem.class); System.out.println(item.getTitle()); }
 @Test //条件查询 public void testQuery(){ //查询所有, *:* 前面是字段 后面是条件 SimpleQuery simpleQuery = new SimpleQuery("*:*"); //设置分页 simpleQuery.setOffset(5);//开始索引 simpleQuery.setRows(5);//每页记录数 //拼接条件 Criteria criteria = new Criteria("item_title"); criteria = criteria.contains("苹果"); simpleQuery.addCriteria(criteria);
 ScoredPage<TbItem> items = solrTemplate.queryForPage(simpleQuery, TbItem.class); for (TbItem item : items) { System.out.println(item.getTitle()); } }
 @Test //删除item(根据主键删除) public void testDelItem(){ solrTemplate.deleteById("1"); solrTemplate.commit(); }
 @Test //清空 public void delSolrHome(){ SimpleQuery query = new SimpleQuery("*:*"); solrTemplate.delete(query); solrTemplate.commit(); }}

三.SpringDataSolr的常用API示例

/** * @author Mr.song * @date 2019/06/13 18:22 */@Servicepublic class ItemSearchServiceImpl implements ItemSearchService {
 @Autowired private TbItemMapper itemMapper;
 @Autowired private SolrTemplate solrTemplate;
 /** * 根据关键字查询solr索引库 * @param searchMap 前端的查询条件,封装为Map * @return 查询的结果,不封装为实体,返回Map效果一样 */ @Override public Map search(Map searchMap) {  //1.关键字查询 String keywords = searchMap.get("keywords").toString(); //2.封装查询条件(高亮查询) SimpleHighlightQuery simpleHighlightQuery = new SimpleHighlightQuery(); if (keywords != null) { //这是查询的域 Criteria criteria = new Criteria("item_keywords"); criteria = criteria.contains(keywords); simpleHighlightQuery.addCriteria(criteria); }
 //1.高亮查询的高亮设置(即查询关键字的高亮显示) HighlightOptions options = new HighlightOptions(); //设置高亮的头部和尾部 options.setSimplePrefix("<em style='color:red'>"); options.setSimplePostfix("</em>"); //设置高亮的域名字,设置查询的选项 options.addField("item_title"); simpleHighlightQuery.setHighlightOptions(options);
 //2.过滤查询条件=====分类相关 String categoryStr = (String) searchMap.get("category"); if (categoryStr != null){ //2.1按照传入的分类字符串进行查询,创建过滤查询对象 SimpleFilterQuery filterQuery = new SimpleFilterQuery(); //2.2创建条件,设置域的名称 Criteria criteria = new Criteria("item_category"); //2.3设置匹配字符串 criteria = criteria.contains(categoryStr); //2.4过滤查询添加条件 filterQuery.addCriteria(criteria); //2.5查询添加过滤查询 simpleHighlightQuery.addFilterQuery(filterQuery); System.out.println("分类过滤查询:"+categoryStr); }
 //3.过滤查询条件=====品牌相关 String brand = (String) searchMap.get("brand"); if (brand != null){ SimpleFilterQuery filterQuery = new SimpleFilterQuery(); Criteria criteria = new Criteria("item_brand"); criteria = criteria.contains(brand); filterQuery.addCriteria(criteria); simpleHighlightQuery.addFilterQuery(filterQuery); System.out.println("品牌过滤查询:"+brand); }
 //4.过滤查询条件=====规格相关 Map<String,String> specMap = (Map) searchMap.get("spec"); if (specMap != null){ for (String s : specMap.keySet()) { SimpleFilterQuery filterQuery = new SimpleFilterQuery(); Criteria criteria = new Criteria("item_spec_"+s); criteria = criteria.contains(specMap.get(s)); filterQuery.addCriteria(criteria); simpleHighlightQuery.addFilterQuery(filterQuery); System.out.println("规格滤查询:"+s); } }
 //4.过滤条件查询=====价格相关 String price = (String) searchMap.get("price");//0-199 if (price != null){ //1500-2000 String[] prices = price.split("-");
 //过滤条件增加起始价格 SimpleFilterQuery filterQuery1 = new SimpleFilterQuery(); Criteria criteria1 = new Criteria("item_price"); criteria1 = criteria1.greaterThanEqual(prices[0]); //大于等于起始价格 filterQuery1.addCriteria(criteria1); simpleHighlightQuery.addFilterQuery(filterQuery1);
 //过滤条件增加结束价格 if(!"*".equals(prices[1])){ //防止3000元以上的*号 SimpleFilterQuery filterQuery2 = new SimpleFilterQuery(); Criteria criteria2 = new Criteria("item_price"); criteria2 = criteria2.lessThanEqual(prices[1]); //小于等于结束价格 filterQuery2.addCriteria(criteria2); simpleHighlightQuery.addFilterQuery(filterQuery2); } System.out.println("价格过滤查询:"+price); }
 //5.价格升降序=======价格升降序,前端设置默认是desc String sort = (String) searchMap.get("sort"); //定义排序对象 Sort orders = null; if ("DESC".equalsIgnoreCase(sort)){ //降序查询 :参数1-指定升降序 参数2-指定域 orders = new Sort(Sort.Direction.DESC,"item_price"); System.out.println("价格降序过滤查询:"+sort); }else { orders = new Sort(Sort.Direction.ASC,"item_price"); System.out.println("价格升序过滤查询:"+sort); } //为查询添加排序 simpleHighlightQuery.addSort(orders);
 //6.分页相关 Integer pageSize = (Integer) searchMap.get("pageSize"); Integer pageNo = (Integer) searchMap.get("pageNo"); //设置分页参数 :起始索引和每页条数 simpleHighlightQuery.setOffset((pageNo-1)*pageSize); simpleHighlightQuery.setRows(pageSize);
 //查询 HighlightPage<TbItem> tbItems = solrTemplate. queryForHighlightPage(simpleHighlightQuery, TbItem.class); //将高亮设置后的属性赋值给查出的内容 List<TbItem> contents = tbItems.getContent(); for (TbItem content : contents) { List<HighlightEntry.Highlight> highlights = tbItems.getHighlights(content); if (highlights.size()>0){//防止数组空内容 List<String> snipplets = highlights.get(0).getSnipplets(); if (snipplets.size()>0){//防止空内容 content.setTitle(snipplets.get(0)); } } }
 //构建返回的map对象 Map returnMap = new HashMap(); returnMap.put("rows", contents); //分页需要总记录数 returnMap.put("total",tbItems.getNumberOfElements()); return returnMap; }
 /** * 根据商品的id(spu)将商品(sku)导入到solr索引库中 * @param ids 商品的id数组(spu) */ @Override public void importItemsByGoodsId(Long[] ids) { //goods的所有ids,查询其列表导入到solr索引库 TbItemExample example = new TbItemExample(); example.createCriteria().andGoodsIdIn(Arrays.asList(ids)); List<TbItem> tbItems = itemMapper.selectByExample(example); //将数据存入solr索引库 solrTemplate.saveBeans(tbItems); solrTemplate.commit(); System.out.println("solr库导入了商品："+tbItems.size()+"个"); }

 /** * 根据商品的id(spu)将商品(sku)从solr索引库中删除 * @param ids 商品的id数组(spu) */ @Override public void delItemsByGoodsId(Long[] ids) { //id是goods的id TbItemExample example = new TbItemExample(); example.createCriteria().andGoodsIdIn(Arrays.asList(ids)); List<TbItem> tbItems = itemMapper.selectByExample(example); //循环删除sku(solr索引库中的) for (TbItem tbItem : tbItems) { solrTemplate.deleteById(tbItem.getId().toString()); } solrTemplate.commit(); System.out.println("solr库删除了商品："+tbItems.size()+"个"); }}