如何在自己的项目中引入ElasticSearch搜索引擎？

Posted 2021-05-22 Java鱼仔

听说微信搜索《Java鱼仔》会变更强！

本文收录于JavaStarter ，里面有我完整的Java系列文章，学习或面试都可以看看

（一）介绍

在大多数系统中，都需要支持搜索的功能，以简单博客系统为例，虽然说mysql也可以通过模糊查询匹配到对应的数据，但是效率实在太低。这个时候就需要拿出分布式搜索引擎ElasticSearch了。本博客重点在于ES的集成使用，因此前端采用最简单的方式呈现，大家只需要关注后端逻辑即可。（本博客基于ES7.6.1，和ES6.X版本有较大差异）

（二）项目搭建

2.1 依赖引入

依赖主要就是web、es以及thymleaf相关：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
</dependency>
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <scope>test</scope>
</dependency>
<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>fastjson</artifactId>
    <version>1.2.76</version>
</dependency>
<!--thymleaf相关-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-thymeleaf</artifactId>
</dependency>
<dependency>
    <groupId>org.thymeleaf</groupId>
    <artifactId>thymeleaf-spring5</artifactId>
</dependency>
<dependency>
    <groupId>org.thymeleaf.extras</groupId>
    <artifactId>thymeleaf-extras-java8time</artifactId>
</dependency>

2.2 编写ES的配置类

编写ES的配置类，编写连接信息，之后直接通过Autowired连接即可：

@Configuration
public class ElasticSearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client=new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("192.168.78.128",9200,"http")
                )
        );
        return client;
    }
}

2.3 编写Blog实体类

编写一个类用来存储要存储的数据，我这里为了演示只在es中插入标题和作者的信息

@Data
@AllArgsConstructor
public class BlogDO {
    private String title;
    private String author;
}

2.4 准备controller和service

最后新建一个IndexController和IndexService以及IndexServiceImpl，接下来会使用。最终的目录结构如下：

（三）数据准备

要做数据的搜索，首先第一步就是数据的导入。在真实的业务场景中，数据的导入有很多方式。一种是当新增数据时在代码逻辑中做增量的导入操作，或者是由数仓团队负责数据的增量导入。我接触到的业务中，后端程序员不需要去关注导入的操作，这个步骤是数仓团队做的。

在我们个人的博客系统中，可以在新增博客后立刻同步数据到ES，也可以先通过消息中间件发送一条消息，消费者定期去读取消息新增数据。

这里演示就直接导入了：

@Controller
public class IndexController {
    @Autowired
    private IndexService indexService;
    @ResponseBody
    @GetMapping("/prepareData")
    public String prepareData(){
        String result=indexService.prepareData();
        return result;
    }
}

具体的service实现如下：

@Service
public class IndexServiceImpl implements IndexService {

    @Autowired
    private RestHighLevelClient restHighLevelClient;
    @Override
    public String prepareData() {
        List<BlogDO> blogDOS = new ArrayList<>();
        blogDOS.add(new BlogDO("ElasticSearch究竟是个什么东西", "Java鱼仔"));
        blogDOS.add(new BlogDO("SpringBoot+SpringSecurity实现基于真实数据的授权认证", "Java鱼仔"));
        blogDOS.add(new BlogDO("Dubbo两小时快速上手教程（直接代码、Spring、SpringBoot）", "Java鱼仔"));
        blogDOS.add(new BlogDO("浅析五种最常用的Java加密算法", "Java鱼仔"));
        blogDOS.add(new BlogDO("Java程序员需要知道的操作系统知识汇总", "Java鱼仔"));
        blogDOS.add(new BlogDO("一步步教你如何在SpringBoot项目中引入支付功能", "Java鱼仔"));
        blogDOS.add(new BlogDO("Zookeeper实现分布式锁的原理是什么？", "Java鱼仔"));
        blogDOS.add(new BlogDO("一个成熟的Java项目如何优雅地处理异常", "Java鱼仔"));
        blogDOS.add(new BlogDO("基于SpringBoot实现文件的上传下载", "Java鱼仔"));
        blogDOS.add(new BlogDO("如何用Java写一个规范的http接口？", "Java鱼仔"));
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("10s");
        blogDOS.stream().forEach(x -> {
            bulkRequest.add(new IndexRequest("blog_index").source(JSON.toJSONString(x), XContentType.JSON));
        });
        BulkResponse responses=null;
        try {
            responses = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return String.valueOf(responses.status());
    }
}

我选取了自己的几篇博客文章，多执行几次接口，保证ES中有几十条数据供测试使用即可。

（四）博客搜索

接下来就是搜索的过程了，搜索的逻辑其实比较简单，具体的代码就按照上一篇博客中的方式来编写，在真实业务场景中，每个公司可能会有自己的封装搜索方法：

IndexController中增加一个方法：

@GetMapping("/search")
public String search(@RequestParam("keywords")String keywords, @RequestParam("pageNum")String pageNum, @RequestParam("pageSize")String pageSize, Model model){
    List<Map<String,Object>> list=indexService.searchByKeywords(keywords,pageNum,pageSize);
    model.addAttribute("datas",list);
    return "search";
}

具体实现类中增加方法：

@Override
public List<Map<String, Object>> searchByKeywords(String keywords, String pageNum, String pageSize) {
    return this.searchData(keywords,Integer.parseInt(pageNum),Integer.parseInt(pageSize));
}

public List<Map<String,Object>> searchData(String keywords, int pageNum, int pageSize){
    if (pageNum<1){
        pageNum=1;
    }
    //生成搜索对象
    SearchRequest request = new SearchRequest("blog_index");
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    //设置分页参数
    searchSourceBuilder.from(pageNum);
    searchSourceBuilder.size(pageSize);
    //设置搜索的字段
    MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("title", keywords);
    searchSourceBuilder.query(matchQueryBuilder);
    searchSourceBuilder.timeout(new TimeValue(10, TimeUnit.SECONDS));
    request.source(searchSourceBuilder);
    SearchResponse search=null;
    try {
        search = restHighLevelClient.search(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        e.printStackTrace();
    }
    //将结果返回
    List<Map<String,Object>> result=new ArrayList();
    SearchHit[] hits = search.getHits().getHits();
    for (SearchHit searchHit:hits){
        result.add(searchHit.getSourceAsMap());

    }
    return result;
}

简单写一个前端页面

<!DOCTYPE html>
<html xmlns:th="http://www.thymeleaf.org"><!--引入thymeleaf-->
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<div>
    <div th:each="datas:${datas}">
        <span th:text="${datas.author}"/>
        <span th:utext="${datas.title}"/>
        <hr/>
    </div>
</div>
</body>
</html>

跑起来看一下，访问

http://localhost:8080/search?keywords=Java&pageNum=1&pageSize=10

在链接中，我关键词填了Java，pageNum是1，每页展示10行，可以看到和Java相关的数据就被查出来了。

（五）实现高亮查询

在百度搜索Java时，可以看到查询出来的Java被高亮显示了，之前在讲ES语法的时候，我们也知道了ES支持高亮查询，下面就通过代码来实现。

稍微修改一下搜索的代码，增加高亮配置，在返回值中用高亮字符串替换原来的字符串。

public List<Map<String,Object>> searchHighLightData(String keywords, int pageNum, int pageSize){
    if (pageNum<1){
        pageNum=1;
    }
    SearchRequest request = new SearchRequest("blog_index");
    SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
    searchSourceBuilder.from(pageNum);
    searchSourceBuilder.size(pageSize);
    //高亮构造器
    HighlightBuilder highlightBuilder=new HighlightBuilder();
    //高亮查询字段
    highlightBuilder.field("title");
    //是否将所有匹配到的字段高亮显示，false表示只显示一个
    highlightBuilder.requireFieldMatch(false);
    //高亮的标签
    highlightBuilder.preTags("<span style='color:red'>");
    highlightBuilder.postTags("</span>");
    searchSourceBuilder.highlighter(highlightBuilder);
    
    MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("title", keywords);
    searchSourceBuilder.query(matchQueryBuilder);
    searchSourceBuilder.timeout(new TimeValue(10, TimeUnit.SECONDS));
    request.source(searchSourceBuilder);
    SearchResponse search=null;
    try {
        search = restHighLevelClient.search(request, RequestOptions.DEFAULT);
    } catch (IOException e) {
        e.printStackTrace();
    }
    List<Map<String,Object>> result=new ArrayList();
    SearchHit[] hits = search.getHits().getHits();
    //遍历结果，将高亮返回值title替换到原来的title中
    for (SearchHit searchHit:hits){
        Map<String, Object> sourceAsMap = searchHit.getSourceAsMap();
        Map<String, HighlightField> highlightFields = searchHit.getHighlightFields();
        HighlightField title = highlightFields.get("title");
        if (title!=null){
            StringBuilder highLightTitle=new StringBuilder();
            Text[] texts = title.fragments();
            for(Text text:texts){
                highLightTitle.append(text);
            }
            sourceAsMap.put("title",highLightTitle);
        }
        result.add(sourceAsMap);
    }
    return result;
}

继续访问

http://localhost:8080/search?keywords=Java&pageNum=1&pageSize=10，

通过断点可以看到，搜索的关键词已经被我们设置的span标签包住了。

在前端thymeaf中，我是用了th:utext，这个标签可以将Html解析，最终的高亮显示如下：

（六）总结

ES的应用到这里就结束了，ES可以很方便地嵌入到真实的项目中，对于应用来讲，了解到这一步已经足够，对于想要提高的人来说，还远远不够。作为最流行的分布式搜索引擎，ES还有许多值得学的地方，任重而道远。我是鱼仔，我们下期再见！