精通系列SpringBoot集成ElasticSearch+项目实战

Posted 2023-02-21 蓝匣子itbluebox

Java 之 ElasticSearch7.x.x + SpringBoot + 爬虫 + 项目实战【一篇文章精通系列】【SpringBoot集成ElasticSearch+项目实战】

• • 一、ElasticSearch的Java官方文档
  • • 1、查看官方文档
    • 2、找到了原生的依赖
    • 3、初始化
  • 二、创建SpringBoot项目
  • • 1、创建项目
    • 2、完善依赖
    • 3、创建ElasticSearchClientConfig配置类
  • 二、索引库API操作
  • • 1、在测试类当中注入对应的内容
    • 2、创建索引
    • 3、获取索引（判断索引是否存在）
    • 4、删除索引
  • 三、文档API操作
  • • 1、创建文档
    • 2、获取文档
    • 3、获取文档信息
    • 4、更新文档记录
    • 5、删除文档记录
    • 6、批量插入数据
    • 7、查询
  • 四、项目实战（创建项目搭建工程）
  • • 1、创建新项目
    • 2、引入一些静态资源
    • 3、创建controller
  • 五、抓取数据
  • • 1、导入依赖（引入jsoup）
    • 2、编写对应的工具类
  • 六、完善项目工程搭建
  • • 1、完善Service
    • 2、完善Controller
  • 七、编写业务
  • • 1、将数据添加到索引库当中
    • 2、获取数据
  • 八、编写前端
  • • 1、引入一些依赖
    • 2、编写Vue代码
  • 九、实现搜索高亮
  • • 1、编写searchPageHighLightBuilder方法
    • 2、完善
    • 3、修改前端页面，的遍历数据的方法

一、ElasticSearch的Java官方文档

1、查看官方文档

https://www.elastic.co/guide/index.html

进入客户端的文档
https://www.elastic.co/guide/en/elasticsearch/client/index.html

因为我们本地安装的ES版本为

选择对应的版本即可


找到对应的版本

2、找到了原生的依赖

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.16.3</version>
</dependency>

3、初始化

二、创建SpringBoot项目

1、创建项目

创建成功后在项目当中创建对应的模块

新建项目成功
我们可以看到已经自动引入对应的依赖
aven的目录当中我们可以看到，SpringBoot2.7.5 默认的ElasticSearch-client的版本为7.17.6

2、完善依赖

虽然这个版本可以使用但是，在切换SpringBoot的版本的时候会发生变化，所以我们需要自定义版本依赖

 <!--自定义ES版本依赖，保证和本地版本一直-->
        <elasticsearch.version>7.16.0</elasticsearch.version>

3、创建ElasticSearchClientConfig配置类

/*
* Spring两步骤，
* 1、找对象
* 2、放到Spring中待用
* */
@Configuration //xml - bean
public class ElasticSearchClientConfig 

    //spring  <beans id='restHighLevelClient' class='RestHighLevelClient'>

    /*
    * 将创建ES链接的代码，注入到Spring的容器当中
    * */
    @Bean
    public RestHighLevelClient restHighLevelClient()
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1", 9200, "http")
                )
        );
        return client;
    

1. 拓展

@Configuration注解的作用：声明一个类为配置类，用于取代bean.xml配置文件注册bean对象。

@Configuration注解最常见的搭配使用有两个：@Bean和@Scope

@Bean：等价于Spring中的bean标签用于注册bean对象的，给容器中添加组件，一般以方法名作为组件的id，配置类里面使用@Bean标注在方法上给容器注册组件，默认是单实例的。

@Scope：用于声明该bean的作用域，作用域有singleton、prototype、request、session。

singleton 单实例的(单例)(默认)   ----全局有且仅有一个实例
prototype 多实例的(多例)   ----每次获取Bean的时候会有一个新的实例
reqeust   同一次请求 ----request：每一次HTTP请求都会产生一个新的bean，同时该bean仅在当前HTTP request内有效
session   同一个会话级别 ---- session：每一次HTTP请求都会产生一个新的bean，同时该bean仅在当前HTTP session内有效

@Configuration注解的属性
@Configuration注解中有@Component注解的加持，因此它自己本身也是一个bean对象，可以通过Context的进行获取。
@Configuration中的属性proxyBeanMethods是及其重要的，设置true/false会得到不同的效果。
proxyBeanMethods = true的情况下，保持单实例对象
proxyBeanMethods = false的情况下，不进行检查IOC容器中是否存在，而是简单的调用方法进行创建对象，无法保持单实例，简单来说，就相当于true只调用一次（创建一次，后续重复调用），而false会调用多次（调用多少次创建多少个对象）。

• 分析源码
  

二、索引库API操作

1、在测试类当中注入对应的内容

在测试类当中进行测试
首先在测试类当中注入，刚刚的Spring容器当中的restHighLevelClient

这里注入有三种方式

@SpringBootTest
class ItbluxboxEsApiApplicationTests 

    /*
    1、第一种注入方式
    @Autowired
    private RestHighLevelClient restHighLevelClient;//restHighLevelClient 必须和Config当中对应的属性名称相同
    2、第二种注入方式
    @Resource(lookup = "restHighLevelClient")   //别名
    private RestHighLevelClient client;
    */
    /*
    @Autowired(required=true)：当使用@Autowired注解的时候，其实默认就是@Autowired(required=true)，表示注入的时候，该bean必须存在，否则就会注入失败。
    @Autowired(required=false)：表示忽略当前要注入的bean，如果有直接注入，没有跳过，不会报错。
    */
    /*
     3、第三种注入方式
    */
    @Autowired(required = false)
    @Qualifier("restHighLevelClient") //指定容器当中注入的名称restHighLevelClient
    private RestHighLevelClient client;//使用其他名称的时候

    @Test
    void contextLoads() 




    

2、创建索引

    @Test
    void testCreateIndex() throws IOException 
        //1、创建索引请求
        CreateIndexRequest request = new CreateIndexRequest("blue_index");
        //2、客户端，执行请求IndicesClient  CreateIndexResponse获得对应的响应
        CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);
        System.out.println(createIndexResponse);
    

运行测试类

运行成功

在ElasticSearch head当中我们可以看到，对应的索引库创建成功

3、获取索引（判断索引是否存在）

/*
    * 测试获取索引
    * */
    @Test
    void testExistIndex() throws IOException 
        GetIndexRequest request = new GetIndexRequest("blue_index");
        /*exists判断当前索引是否存在*/
        boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
        System.out.println(exists);//是否存在
    

运行测试

4、删除索引

/*
     * 测试删除索引
     * */
    @Test
    void testDeleteIndex() throws IOException 
        DeleteIndexRequest deleteIndexRequest = new DeleteIndexRequest("blue_index");
        /*删除*/
        AcknowledgedResponse delete = client.indices().delete(deleteIndexRequest, RequestOptions.DEFAULT);
        System.out.println(delete.isAcknowledged());
    

运行测试

在ElasticSearch head当中没有了对应的索引库

三、文档API操作

1、创建文档

a、创建索引库，因为上面刚刚删除了对应的索引库

b、先创建实体类

@Data
@AllArgsConstructor
@NoArgsConstructor
@Component
public class User 

    private String name;
    private int age;

c、创建文档

  /*测试添加文档*/
    @Test
    void testAddDocument() throws IOException 
        //创建对象
        User user = new User("蓝盒子", 3);
        //创建请求
        IndexRequest request = new IndexRequest("blue_index");
        /*
         规则
         put /kuang index/_doc/1
        */
        request.id("1");
        request.timeout(TimeValue.timeValueSeconds(1));
        request.timeout("1s");
        //将我们的数据放入请求 JSON
        request.source(JSON.toJSONString(user), XContentType.JSON);
        //客户端发送请求 , 发送请求获取响应结果
        IndexResponse indexResponse = client.index(request, RequestOptions.DEFAULT);
        System.out.println(indexResponse.toString());//
        System.out.println(indexResponse.status());//对应我们命令返回的状态
    

运行测试
创建成功

我们在head当中可以看到对应的内容

2、获取文档

/*获取文档，判断是否存在*/
    @Test
    void testIsExists() throws IOException 
        GetRequest getrequest = new GetRequest("blue_index","1");
        //不获取返回的_source 的上下文
        getrequest.fetchSourceContext(new FetchSourceContext(false));
        getrequest.storedFields("_none_");
        boolean exists = client.exists(getrequest, RequestOptions.DEFAULT);
        System.out.println(exists);
    

运行测试

3、获取文档信息

 //获取文档信息
    @Test
    void testGetDoucment() throws IOException 
        GetRequest getRequest = new GetRequest("blue_index","1");

        GetResponse getResponse = client.get(getRequest, RequestOptions.DEFAULT);

        System.out.println(getResponse.getSourceAsString());//打印文档的内容

        System.out.println(getResponse);//返回全部的内容和命令是一样的
    

运行测试

4、更新文档记录

    //更新文档信息
    @Test
    void testUpdateDoucment() throws IOException 

        UpdateRequest updateRequest = new UpdateRequest("blue_index","1");
        updateRequest.timeout("1s");

        User user = new User("蓝盒子Java", 18);
        updateRequest.doc(JSON.toJSONString(user),XContentType.JSON);

        UpdateResponse updateResponse = client.update(updateRequest, RequestOptions.DEFAULT);

        System.out.println(updateResponse.status());
        System.out.println(updateResponse);
    

运行测试更新成功

5、删除文档记录

    //删除文档信息
    @Test
    void testDeleteDocument() throws IOException 

        DeleteRequest request = new DeleteRequest("blue_index","1");
        request.timeout("1s");
        DeleteResponse deleteResponse = client.delete(request, RequestOptions.DEFAULT);
        System.out.println(deleteResponse.status());
        System.out.println(deleteResponse);

    

删除成功

删除成功

6、批量插入数据

	 /*
    批量插入代码
    * */
    @Test
    void testBulkDocument() throws IOException 
        //批处理请求
        BulkRequest bulkRequest = new BulkRequest();
        bulkRequest.timeout("10s");

        ArrayList<User> userList = new ArrayList<>();
        userList.add(new User("蓝盒子1",3));
        userList.add(new User("蓝盒子2",13));
        userList.add(new User("蓝盒子3",23));
        userList.add(new User("蓝盒子4",5));
        userList.add(new User("蓝盒子7",15));
        userList.add(new User("蓝盒子8",25));
        userList.add(new User("蓝盒子9",35));
        //批处理请求
        for (int i = 0; i < userList.size(); i++) 
            /*
            批量删除：DeleteRequest
            批量更新：UpdateRequest
            */
            bulkRequest.add(new IndexRequest("blue_index")
                    .id(""+(i+1))
                    .source(JSON.toJSONString(userList.get(i)),XContentType.JSON)
            );
        
        BulkResponse bulkResponse = client.bulk(bulkRequest, RequestOptions.DEFAULT);
        System.out.println(bulkResponse.hasFailures()); //是否失败
    

运行测试


如果不设置id会生成随机id

运行测试
运行成功

7、查询

package cn.itbluebox.itbluxboxesapi.utils;

public class ESconst 

    public static final String EX_INDEX = "blue_index";

在查询当中调用
查询的时候这里有各种构造器

搜索年龄为3岁的

@Test
    void testSearch() throws IOException 
        SearchRequest searchRequest = new SearchRequest(ESconst.EX_INDEX);
        //构建搜索条件
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        //查询name为蓝盒子1的用户
        //查询条件我们可以使用 QueryBuilders 工具类 来快速匹配
        //QueryBuilders.termQuery 精确匹配
        //QueryBuilders.matchAllQuery  匹配全部查询
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("age", "3");
        sourceBuilder.query(termQueryBuilder);
        /*
        sourceBuilder.from();//分页开始
        sourceBuilder.size();//一页的条数
        */
        sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
        searchRequest.source(sourceBuilder);
        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
        System.out.println(searchResponse.status());
        System.out.println(JSON.toJSONString(searchResponse));
        System.out.println("===========================================");
        for (SearchHit documentFields : searchResponse.getHits().getHits()) 
            System.out.println(documentFields.getSourceAsMap());
        
    

运行测试
SearchRequest 搜索请求
SearchSourceBuilder 条件构造
HighlightBuilder 构建高亮
TermQueryBuilder 构建精确查询
MatchAllQueryBuilder 构建全部查询
xxx QueryBuilder 对应我们刚才看到的所有命令

四、项目实战（创建项目搭建工程）

1、创建新项目

和之前一样选择好对应的依赖

完善好对应的依赖

		<!--自定义ES版本依赖，保证和本地版本一直-->
        <elasticsearch.version>7.16.0</elasticsearch.version>

		<dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.83</version>
        </dependency>

完善yml

2、引入一些静态资源

静态资源下载地址：https://download.csdn.net/download/qq_44757034/86935691

3、创建controller

import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;

@Controller
public class IndexController 

    @GetMapping("/","/index")  //访问路径为/或者/index
    以上是关于精通系列SpringBoot集成ElasticSearch+项目实战的主要内容，如果未能解决你的问题，请参考以下文章
 
 精通系列SpringBoot集成ElasticSearch+项目实战
 SpringBoot入门到精通-SpringBoot集成SSM开发项目
 SpringBoot入门到精通-SpringBoot入门
 SpringBoot入门到精通-Spring的注解编程
 SpringBoot入门到精通-Spring的基本使用
 精通系列）中