Elasticsearch学习之Elasticsearch的介绍和基本使用

Posted 活跃的咸鱼

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Elasticsearch学习之Elasticsearch的介绍和基本使用相关的知识，希望对你有一定的参考价值。

Elasticsearch

一）ES的基本介绍

1. Elasticsearch 是什么

Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。

2. Eelasticsearch的作用

Elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。

  • 在GitHub搜索代码
  • 用于搜索引擎中搜索内容
  • 各大电商网站搜索商品
  • 打车软件搜索附近的车辆

3. Elasticsearch，Solr和Lucene三者之间的关系

目前市面上流行的搜索引擎软件，主流的就两款：Elasticsearch 和 Solr,这两款都是基于 Lucene 搭建的，可以独立部署启动的搜索引擎服务软件。

Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，提供了一个简单却强大的应用程式接口，能够做全文索引和搜寻。

Elasticsearch和Solr对比

特征Solr/SolrCloudElasticsearch
社区和开发者Apache软件基金和社区支持单一商业实体及其员工
节点发现Apache Zookeeper.在大量项目中成熟且经过实战测试Zen内置于Elasticsearch本身，需要专用的主节点才能进行裂脑保护
碎片放置本质上是静态，需要手动工作来迁移分片，从Solr 7开始- AutoscalingAPI允许一些动态操作动态，可以根据群集状态按需移动分片
高速缓存全局，每个段更改无效每段，更适合动态更改数据
分析引擎性能非常适合精确计算的静态数据结果的准确性取决于数据放置
全文搜索功能基于Lucene的语言分析，多建议，拼写检查，丰富的高亮显示支持基于Lucene的语言分析，单一建议API实现， 高亮显示重新计算
DevOps支持尚未完全，但即将到来非常好的API
非平面数据处理嵌套文档和父子支持嵌套和对象类型的自然支持允许几乎无限的嵌套和父-子支持
查询DSLJSON (有限)，XML (有限)或URL参数JSON
机器学习内置-在流聚合之上，专注于逻辑回归和学习排名贡献模块商业功能，专注于异常和异常值以及时间序列数据

4. Elasticsearch的索引结构–倒排索引

倒排索引的概念是基于mysql这样的正向索引而言的。

正向索引

那么什么是正向索引呢？例如给下表（tb_goods）中的id创建索引：

如果是根据id查询，那么直接走索引，查询速度非常快。

但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：

1）用户搜索数据，条件是title符合"%手机%"

2）逐行获取数据，比如id为1的数据

3）判断数据中的title是否符合用户搜索条件

4）如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

倒排索引

倒排索引中有两个非常重要的概念：

  • 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息。
  • 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理，流程如下：

  • 将每一个文档的数据利用算法分词，得到一个个词条
  • 创建表，每行数据包括词条、词条所在文档id、位置等信息
  • 因为词条唯一性，可以给词条创建索引，例如hash表结构索引

如图：

倒排索引的搜索流程如下（以搜索"华为手机"为例）：

1）用户输入条件"华为手机"进行搜索。

2）对用户输入内容分词，得到词条：华为、手机。

3）拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档。

如图：

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

正向索引和倒排索引比较

  • 正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。

  • 而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

正向索引：

  • 优点：
    • 可以给多个字段创建索引
    • 根据索引字段搜索、排序速度非常快
  • 缺点：
    • 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

  • 优点：
    • 根据词条搜索、模糊搜索时，速度非常快
  • 缺点：
    • 只能给词条创建索引，而不是字段
    • 无法根据字段做排序

5. ES中的一些基本概念

elasticsearch中有很多独有的概念，与mysql中略有差别，但也有相似之处。

文档和字段

elasticsearch是面向文档(Document) 存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

而Json文档中往往包含很多的字段（Field），类似于数据库中的列。

索引和映射

索引（Index），就是相同类型的文档的集合。

例如：

  • 所有用户文档，就可以组织在一起，称为用户的索引；
  • 所有商品的文档，可以组织在一起，称为商品的索引；
  • 所有订单的文档，可以组织在一起，称为订单的索引；

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

mysql与elasticsearch

我们统一的把mysql与elasticsearch的概念做一下对比：

MySQLElasticsearch说明
TableIndex索引(index)，就是文档的集合，类似数据库的表(table)
RowDocument文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
ColumnField字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
SchemaMappingMapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQLDSLDSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长支出：

  • Mysql：擅长事务类型操作，可以确保数据的安全和一致性

  • Elasticsearch：擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

  • 对安全性要求较高的写操作，使用mysql实现
  • 对查询性能要求较高的搜索需求，使用elasticsearch实现
  • 两者再基于某种方式，实现数据的同步，保证一致性

二）ES索引的增删改查

索引库就类似数据库表，mapping映射就类似表的结构。我们要向es中存储数据，必须先创建“库”和“表”。

1. mapping映射属性

mapping是对索引库中文档的约束，常见的mapping属性包括：

  • type：字段数据类型，常见的简单类型有：
    • 字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）
    • 数值：long、integer、short、byte、double、float、
    • 布尔：boolean
    • 日期：date
    • 对象：object
  • index：是否创建索引，默认为true
  • analyzer：使用哪种分词器
  • store：是否将数据进行独立存储，默认为 false
    原始的文本会存储在_source 里面，默认情况下其他提取出来的字段都不是独立存储的，是从_source 里面提取出来的。当然你也可以独立的存储某个字段，只要设置"store": true 即可，获取独立存储的字段要比从_source 中解析快得多，但是也会占用更多的空间，所以要根据实际业务需求来设置。
  • properties：该字段的子字段

2. 索引库的创建

基本语法：

  • 请求方式：PUT
  • 请求路径：/索引库名，可以自定义
  • 请求参数：mapping映射

格式：

PUT /索引库名称
{
  "mappings": {
    "properties": {
      "字段名":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "字段名2":{
        "type": "keyword",
        "index": "false"
      },
      "字段名3":{
        "properties": {
          "子字段": {
            "type": "keyword"
          }
        }
      },
      // ...略
    }
  }
}

示例：

PUT /xianyu
{
  "mappings": {
    "properties": {
      "info":{
        "type": "text",
        "analyzer": "ik_smart"
      },
      "email":{
        "type": "keyword",
        "index": "falsae"
      },
      "name":{
        "properties": {
          "firstName": {
            "type": "keyword"
          }
        }
      },
      // ... 略
    }
  }
}

RestAPI：

//1.创建请求
CreateIndexRequest request=new CreateIndexRequest("hotel");
//2.准备请求参数
request.source(HotelConstants.MAPPING_TEMPLATE, XContentType.JSON);
//3.发送请求
client.indices().create(request, RequestOptions.DEFAULT);

3. 查询索引库

基本语法：

  • 请求方式：GET

  • 请求路径：/索引库名

  • 请求参数：无

格式：

GET /索引库名

示例：

GET /xianyu
{
    "xianyu"【索引名】: {
        "aliases"【别名】: {},
        "mappings"【映射】: {},
         "settings"【设置】: {
            "index"【设置 - 索引】: {
                "creation_date"【设置 - 索引 - 创建时间】: "1614265373911",
                "number_of_shards"【设置 - 索引 - 主分片数量】: "1",
                "number_of_replicas"【设置 - 索引 - 副分片数量】: "1",
                "uuid"【设置 - 索引 - 唯一标识】: "eI5wemRERTumxGCc1bAk2A",
                "version"【设置 - 索引 - 版本】: {
                "created": "7080099"
                },
             "provided_name"【设置 - 索引 - 名称】: "xianyu"
                }
      }
         }
}

查询所有的索引库

#查询所有的索引库
GET /_cat/indices?v

表头含义
health 当前服务器健康状态：green(集群完整) yellow(单点正常、集群不完整)red(单点不正常)
status索引打开、关闭状态
index索引名
uuid索引统一编号
pri主分片数量
rep副本数量
docs.count可用文档数量
docs.deleted文档删除状态（逻辑删除）
store.size主分片和副分片整体占空间大小
pri.store.size主分片占空间大小

RestAPI

// 查询索引 - 请求对象
GetIndexRequest request = new GetIndexRequest("hotel");
// 发送请求，获取响应
GetIndexResponse response = client.indices().get(request, 
RequestOptions.DEFAULT);

4. 修改索引库

倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这简直是灾难。因此索引库一旦创建，无法修改mapping。

虽然无法修改mapping中已有的字段，但是却允许添加新的字段到mapping中，因为不会对倒排索引产生影响。

语法说明：

PUT /索引库名/_mapping
{
  "properties": {
    "新字段名":{
      "type": "integer"
    }
  }
}

5. 删除索引库

语法：

  • 请求方式：DELETE

  • 请求路径：/索引库名

  • 请求参数：无

格式：

DELETE /索引库名

RestAPI：

//创建删除请求
DeleteIndexRequest request = new DeleteIndexRequest("hotel");     
//发送请求
client.indices().delete(request,RequestOptions.DEFAULT);

三）ES文档的增删改查

1. 创建文档

语法：

POST /索引库名/_doc/文档id 
{
    "字段1": "值1",
    "字段2": "值2",
    "字段3": {
        "子属性1": "值3",
        "子属性2": "值4"
    },
    // ...
}

示例：

POST /xianyu/_doc/1 不加id会随机生成一个id
{
  "name":"咸鱼",
  "age":23
}

{
  "_index" : "xianyu", //索引名
  "_type" : "_doc", //类型
  "_id" : "1", //唯一标识 类似主键
  "_version" : 1, //版本
  "result" : "created", //结果 表示创建成功
  "_shards" : {  //分片
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

RESTAPI

// 1.根据id查询酒店数据 
Hotel hotel = hotelService.getById(61083L);
// 2.转换为文档类型
HotelDoc hotelDoc = new HotelDoc(hotel);
// 3.将HotelDoc转json
String jsonString = JSON.toJSONString(hotelDoc);
// 1.准备Request对象
IndexRequest request = new IndexRequest("hotel").id(hotelDoc.getId().toString());
// 2.准备Json文档
request.source(jsonString, XContentType.JSON);
// 3.发送请求
client.index(request, RequestOptions.DEFAULT);

2. 查询文档

语法：

GET /{索引库名称}/_doc/{id}

GET /xianyu/_doc/1

{
  "_index" : "xianyu",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "name" : "咸鱼",
    "age" : 23
  }
}

RESTAPI

 GetRequest request = new GetRequest("hotel","61083");
//得到响应
GetResponse response = client.get(request, RequestOptions.DEFAULT);
String json = response.getSourceAsString();
//解析文档
HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

3. 删除文档

语法：

DELETE /{索引库名称}/_doc/{id}

DELETE /xianyu/_doc/1

{
  "_index" : "xianyu",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

条件删除文档

POST /xianyu/_delete_by_query
{
 "query":{
 "match":{
 "age":23
 }
 }
}

RESTAPI

 // 1.准备Request
DeleteRequest request = new DeleteRequest("hotel", "61083");
// 2.发送请求
client.delete(request, RequestOptions.DEFAULT);

4. 修改文档

修改有两种方式：

  • 全量修改：直接覆盖原来的文档
  • 增量修改：修改文档中的部分字段

语法：

PUT /{索引库名}/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}

增量修改是只修改指定id匹配的文档中的部分字段。

语法：

POST /{索引库名}/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}

POST /xianyu/_update/1
{
  "doc": {
    "no":"20183033523"
  }
}

{
  "_index" : "xianyu",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}

RESTAPI

// 1.准备Request
UpdateRequest request = new UpdateRequest("hotel", "61083");
 // 2.准备请求参数
 request.doc(
               "price", "952",
                "starName", "四钻"
        );
 // 3.发送请求
client.update(request, RequestOptions.DEFAULT);

四）ES的高级查询

1. DSL查询分类

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：

  • 查询所有：查询出所有数据，一般测试用。例如：match_all

  • 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：

    • match_query
    • multi_match_query

  • 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：

    • ids
    • range
    • term

  • 地理（geo）查询：根据经纬度查询。例如：

    • geo_distance
    • geo_bounding_box

  • 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：

    • bool
    • function_score

查询基本语法：

GET /indexName/_search
{
  "query": {
    "查询类型": {
      "查询条件": "条件值"
    }
  }
}

2. 查询所有文档

// 查询所有
GET /indexName/_search
{
  "query": {
    "match_all": {
    }
  }
}


RestAPI

//1.创建请求
SearchRequest request = new SearchRequest("hotel");
//2.构建DSL
request.source().query(QueryBuilders.matchAllQuery());
//3.发送请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
//4.解析响应
extractResponse(response);

结果解析：

	//将响应结果解析
    private void extractResponse(SearchResponse response) {
        SearchHits searchHits = response.getHits();
        //获取总条数
        long total = searchHits.getTotalHits().value;
        System.out.println("文档总条数为"+total);
        //获取文档数组
        SearchHit[] hits = searchHits.getHits();

       // Arrays.stream(hits).forEach(v-> JSON.parseObject(v.getSourceAsString(),HotelDoc.class));

        for (SearchHit hit : hits) {
            // 获取文档source
            String json = hit.getSourceAsString();
            // 反序列化
            HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);
            log.info("酒店数据：{}",hotelDoc);
        }
    }

3. 全文检索查询

使用场景

全文检索查询的基本流程如下：

  • 对用户搜索的内容做分词，得到词条
  • 根据词条去倒排索引库中匹配，得到文档id
  • 根据文档id找到文档，返回给用户

比较常用的场景包括：

  • 商城的输入框搜索
  • 百度输入框搜索

因为是拿着词条去匹配，因此参与搜索的字段也必须是可分词的text类型的字段。

基本语法

常见的全文检索查询包括：

  • match查询：单字段查询
  • multi_match查询：多字段查询，任意一个字段符合条件就算符合查询条件，搜索字段越多，对查询性能影响越大，因此建议采用copy_to，然后单字段查询的方式。

match查询语法如下：

GET /indexName/_search
{
  "query": {
    以上是关于Elasticsearch学习之Elasticsearch的介绍和基本使用的主要内容，如果未能解决你的问题，请参考以下文章
 

 Elasticsearch学习之有用博客


 Elasticsearch 学习之配置文件详解


 Elasticsearch学习之入门2


 Elasticsearch学习之head插件安装


 Elasticsearch学习之基础概念


 Elasticsearch学习之Elasticsearch的介绍和基本使用