SpringCloud：ElasticSearch之索引库操作

Posted 2023-04-02 Mr.D.Chuang

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了SpringCloud：ElasticSearch之索引库操作相关的知识，希望对你有一定的参考价值。

ElasticSearch索引库就类似数据库表，mapping映射就类似表的结构。

我们要向ElasticSearch中存储数据，必须先创建“库”和“表”。

1.`mapping`映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

type：字段数据类型，常见的简单类型有：
- 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
- 数值：long、integer、short、byte、double、float
- 布尔：boolean
- 日期：date
- 对象：object
index：是否创建索引，默认为true
analyzer：使用哪种分词器
properties：该字段的子字段

例如下面的json文档：


    "age": 21,
    "weight": 52.1,
    "isMarried": false,
    "info": "Java程序员",
    "email": "dc@dcxuexi.cn",
    "score": [99.1, 99.5, 98.9],
    "name": 
        "firstName": "操",
        "lastName": "曹"

对应的每个字段映射（mapping）：

age：类型为integer；参与搜索，因此需要index为true；无需分词器
weight：类型为float；参与搜索，因此需要index为true；无需分词器
isMarried：类型为boolean；参与搜索，因此需要index为true；无需分词器
info：类型为字符串，需要分词，因此是text；参与搜索，因此需要index为true；分词器可以用ik_smart
email：类型为字符串，但是不需要分词，因此是keyword；不参与搜索，因此需要index为false；无需分词器
score：虽然是数组，但是我们只看元素的类型，类型为float；参与搜索，因此需要index为true；无需分词器
name：类型为object，需要定义多个子属性
- name.firstName：类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器
- name.lastName：类型为字符串，但是不需要分词，因此是keyword；参与搜索，因此需要index为true；无需分词器

2.索引库的`CRUD`

这里我们统一使用Kibana编写DSL的方式来演示。

环境：ElasticSearch7.X

2.1.创建索引库和映射

基本语法：

请求方式：PUT
请求路径：/索引库名，可以自定义
请求参数：mapping映射

格式：

PUT /索引库名称

  "mappings": 
    "properties": 
      "字段名":
        "type": "text",
        "analyzer": "ik_smart"
      ,
      "字段名2":
        "type": "keyword",
        "index": false
      ,
      "字段名3":
        "properties": 
          "子字段": 
            "type": "keyword"
          
        
      ,
      // ...略

示例：

PUT /dcxuexi

  "mappings": 
    "properties": 
      "info":
        "type": "text",
        "analyzer": "ik_smart"
      ,
      "email":
        "type": "keyword",
        "index": falsae
      ,
      "name":
        "properties": 
          "firstName": 
            "type": "keyword"
          
        
      ,
      // ... 略

2.2.查询索引库

基本语法：

请求方式：GET
请求路径：/索引库名
请求参数：无

格式：

GET /索引库名

示例：

2.3.修改索引库

倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库**一旦创建，无法修改mapping **。

虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。

语法说明：

PUT /索引库名/_mapping

  "properties": 
    "新字段名":
      "type": "integer"

示例：

2.4.删除索引库

语法：

请求方式：DELETE
请求路径：/索引库名
请求参数：无

格式：

DELETE /索引库名

在kibana中测试：

2.5.总结

索引库操作有哪些？

创建索引库：PUT /索引库名
查询索引库：GET /索引库名
删除索引库：DELETE /索引库名
添加字段：PUT /索引库名/_mapping

关于在黑马 SpringCloud 黑马旅游案例中使用 elasticsearch 7.17.9 Java API

引言

本人在学习黑马 SpringCloud 的 es 部分时发现老师用的是es的高级客户端来操作es的，而高级客户端已经显示弃用，上网搜索发现关于新的 Java client API 只有基础的索引、文档操作，没有关于这种稍复杂案例的操作，于是自己琢磨整理了一份笔记，也为其他学习最新的 es 的小伙伴提供一个思路吧。

项目结构

添加项目依赖

        <!--es7.17.9-->
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>7.17.9</version>
        </dependency>
        <dependency>
            <groupId>co.elastic.clients</groupId>
            <artifactId>elasticsearch-java</artifactId>
            <version>7.17.9</version>
            <exclusions>
                <exclusion>
                    <groupId>jakarta.json</groupId>
                    <artifactId>jakarta.json-api</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.14.2</version>
        </dependency>

        <dependency>
            <groupId>jakarta.json</groupId>
            <artifactId>jakarta.json-api</artifactId>
            <version>2.1.1</version>
            <scope>compile</scope>
        </dependency>

EsClientConfig

package cn.itcast.hotel.config;

import co.elastic.clients.elasticsearch.ElasticsearchClient;
import co.elastic.clients.json.jackson.JacksonJsonpMapper;
import co.elastic.clients.transport.rest_client.RestClientTransport;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class EsClientConfig 
    @Bean
    public ElasticsearchClient createClient()
        // 使用 RestClientBuilder 对象创建 Elasticsearch 的 REST 客户端
        RestClient esClient = RestClient.builder(
                new HttpHost("your es server ip", 9200, "http")
        ).build();

        // 创建 ElasticsearchTransport 对象，该对象用于传输数据。这里使用 JacksonJsonpMapper 对象，将 JSON 数据映射为 Java 对象。
        RestClientTransport transport = new RestClientTransport(
                esClient, new JacksonJsonpMapper()
        );

        // 创建 ElasticsearchClient 对象，该对象用于访问 Elasticsearch 的 API
        return new ElasticsearchClient(transport);

HotelService

package cn.itcast.hotel.service.impl;

import cn.itcast.hotel.mapper.HotelMapper;
import cn.itcast.hotel.pojo.Hotel;
import cn.itcast.hotel.pojo.HotelDoc;
import cn.itcast.hotel.pojo.PageResult;
import cn.itcast.hotel.pojo.RequestParams;
import cn.itcast.hotel.service.IHotelService;
import co.elastic.clients.elasticsearch.ElasticsearchClient;
import co.elastic.clients.elasticsearch._types.*;
import co.elastic.clients.elasticsearch._types.query_dsl.*;
import co.elastic.clients.elasticsearch.core.SearchRequest;
import co.elastic.clients.elasticsearch.core.SearchResponse;
import co.elastic.clients.json.JsonData;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Service;


import javax.annotation.Resource;
import java.io.IOException;
import java.util.*;

/**
 * 根据参数查询酒店信息
 * @param params 查询参数
 * @return 分页结果
 */
@Service
@Slf4j
public class HotelService extends ServiceImpl<HotelMapper, Hotel> implements IHotelService 

    @Resource
    private ElasticsearchClient client;

    @Override
    public PageResult search(RequestParams params) 
        String key = params.getKey(); // 搜索关键字
        int page = params.getPage(); // 当前页码
        int size = params.getSize(); // 每页记录数
        SearchResponse<HotelDoc> search;
        try 
            search = getHotelDocSearchResponse(params, key, page, size); // 调用方法获取搜索结果
         catch (IOException e) 
            throw new RuntimeException(e);
        
        // 解析响应结果中的文档列表和总数
        ArrayList<HotelDoc> hotelDocs = new ArrayList<>();
        long total;
        // 遍历搜索结果并把酒店信息添加到列表中
        search.hits().hits().forEach(h-> 
            // 获取每个文档的排序字段，设置为距离字段（如果有）
            List<FieldValue> sort = h.sort();
            if (!sort.isEmpty())
                FieldValue fieldValue = sort.get(0);
                if(h.source() != null) h.source().setDistance(fieldValue.doubleValue());
            

            hotelDocs.add(h.source());
        );
        if(search.hits().total()!=null)
            total = search.hits().total().value();
        else total = 0;
        // 返回分页结果
        return new PageResult(total,hotelDocs);
    

    /**
     * 根据参数构造搜索请求并返回搜索结果
     * @param params 查询参数
     * @param key 搜索关键字
     * @param page 当前页码
     * @param size 每页记录数
     * @return 搜索结果
     * @throws IOException
     */
    private SearchResponse<HotelDoc> getHotelDocSearchResponse(RequestParams params, String key, int page, int size) throws IOException 
        SearchResponse<HotelDoc> search;
        SearchRequest.Builder builder = new SearchRequest.Builder(); // 创建搜索请求构建器
        BoolQuery.Builder bool = QueryBuilders.bool(); // 创建布尔查询构建器
        // 如果搜索关键字为空，则匹配所有记录，否则匹配包含关键字的记录
        if(key == null || "".equals(key)) 
            bool.must(must -> must.matchAll(m -> m));
        else
            bool.must(must -> must.match(m -> m.field("all").query(params.getKey())));
        
        // 如果请求参数中指定了城市，则添加一个 term 过滤条件
        if (params.getCity()!=null&&!params.getCity().equals("")) 
            bool.filter(f -> f.term(t -> t.field("city").value(params.getCity())));
        
        // 如果请求参数中指定了品牌，则添加一个 term 过滤条件
        if (params.getBrand()!=null&&!Objects.equals(params.getBrand(), "")) 
            bool.filter(f -> f.term(t -> t.field("brand").value(params.getBrand())));
        
        // 如果请求参数中指定了星级，则添加一个 term 过滤条件
        if (params.getStarName()!=null&&!params.getStarName().equals("")) 
            bool.filter(f -> f.term(t -> t.field("starName").value(params.getStarName())));
        
        // 如果请求参数中指定了价格范围，则添加一个 range 过滤条件
        if (params.getMinPrice()!=null&& params.getMaxPrice()!=null)
            bool.filter(f -> f.range(t -> t.field("price").gte(JsonData.of(params.getMinPrice())).lte(JsonData.of(params.getMaxPrice()))));
        
        // 创建一个 function score 查询构造器，用于添加权重和评分模式
        FunctionScoreQuery.Builder function = new FunctionScoreQuery.Builder();
        // 添加查询条件，使用一个 BoolQuery 构建器构建的查询
        function.query(bool.build()._toQuery())
                // 添加函数，如果符合 "isAD" 字段等于 "true" 的条件，权重为 10.0
                .functions(functions->functions.filter(fi -> fi.term(t -> t.field("isAD").value("true"))).weight(10.0))
                // 设置函数计算得分时的模式为 "Sum"（即求和）
                .scoreMode(FunctionScoreMode.Sum);
        // 将 FunctionScoreQuery 添加到查询构建器中
        builder.query(function.build()._toQuery());
        // 分页查询，设置查询结果的起始位置和查询的数量
        builder.from((page -1)* size).size(size);
        // 获取请求中的位置参数
        String location = params.getLocation();
        // 如果位置参数不为空
        if(location!=null) 
            // 将位置参数按逗号分隔为经度和纬度数组
            String[] locationArr = location.split(",");
            // 创建一个基于距离排序的构建器，以 "location" 字段作为排序依据
            GeoDistanceSort geoDistanceSort = new GeoDistanceSort.Builder().field("location")
                    // 设置排序基准点的经纬度坐标
                    .location(l->l.latlon(la->la.lat(Double.parseDouble(locationArr[0])).lon(Double.parseDouble(locationArr[1]))))
                    // 设置排序方式为升序
                    .order(SortOrder.Asc)
                    // 设置排序的距离单位为公里
                    .unit(DistanceUnit.Kilometers).build();
            // 将距离排序添加到查询构建器中
            builder.sort(s -> s.geoDistance(geoDistanceSort));
        
        // 构建搜索请求，指定搜索的索引为 "hotel"
        SearchRequest request = builder.index("hotel").build();
        // 打印请求日志
        log.info("request:",request);
        // 执行搜索请求，并将结果保存到 search 变量中
        search = client.search(request, HotelDoc.class);
        // 返回搜索结果
        return search;

以上是关于SpringCloud：ElasticSearch之索引库操作的主要内容，如果未能解决你的问题，请参考以下文章

关于在黑马 SpringCloud 黑马旅游案例中使用 elasticsearch 7.17.9 Java API

十八.SpringCloud极简入门-Zipkin整合RabbitMQ使用ElasticSearch存储的高性能链路追踪方案

Java网络商城项目 SpringBoot+SpringCloud+Vue 网络商城（SSM前后端分离项目）十四（Spring Data Elasticsearch，将数据添加到索引库）

精通springcloud：分布式日志记录和跟踪使用，ELK Stack集中日志

SpringCloud：ElasticSearch之索引库操作

1.mapping映射属性

2.索引库的CRUD

2.1.创建索引库和映射

基本语法：

示例：

2.2.查询索引库

2.3.修改索引库

2.4.删除索引库

2.5.总结

关于在黑马 SpringCloud 黑马旅游案例中使用 elasticsearch 7.17.9 Java API

引言

项目结构

添加项目依赖

EsClientConfig

HotelService

1.`mapping`映射属性

2.索引库的`CRUD`