分布式搜索elasticsearch 基本概念

Posted 2020-09-29 clnchanpin

ElasticSearch官网：http://www.elasticsearch.org/

先上一张elasticsearch的整体框架图：

ElasticSearch是基于Lucene开发的分布式搜索框架，包括例如以下特性：

分布式索引、搜索

索引自己主动分片、负载均衡

自己主动发现机器、组建集群

支持Restful 风格接口

配置简单等。

下图是ElasticSearch的第三方插件管理工具。通过它能够非常清晰的看到它索引分布的情况：哪块分布在那里，占用空间多少都能够看到。而且能够管理索引。

当一台机挂了时。整个系统会对挂机里的内容又一次分配到其他机器上，当挂掉的机又一次增加集群时，又会又一次把索引分配给它。当然，这些规则都是能够依据參数进行设置的，很灵活。ElasticSearch是先把索引的内容保存到内存之中，当内存不够时再把索引持久化到硬盘中，同一时候它另一个队列。是在系统空暇时自己主动把索引写到硬盘中。

的后端存储方式能够有一下四种：

1. 像普通的 Lucene 索引，存储在本地文件系统中;

2. 存储在分布式文件系统中，如 freeds;

3. 存储在 Hadoop 的 hdfs中;

4. 存储在亚马逊的 S3 云平台中。

它支持插件机制，有丰富的插件。

比方和 mongoDB、couchDB 同步的river 插件。分词插件，Hadoop 插件。脚本支持插件等。

以下介绍elasticsearch的几个概念：

cluster

代表一个集群，集群中有多个节点，当中有一个为主节点。这个主节点是能够通过选举产生的。主从节点是对于集群内部来说的。es 的一个概念就是去中心化，字面上理解就是无中心节点。这是对于集群外部来说的。由于从外部来看 es 集群。在逻辑上是个总体，与不论什么一个节点的通信和与整个 es 集群通信是等价的。在配置文件里能够配置集群的名字，在同一局域网内的机器。配置同样的cluster名字，将会自己主动组建集群，不须要其他特殊配置。

shards

代表索引分片。es 能够把一个完整的索引分成多个分片。这种优点是能够把一个大的索引拆分成多个，分布到不同的节点上，构成分布式搜索。

分片的数量仅仅能在索引创建前指定。而且索引创建后不能更改。

replicas

代表索引副本。es 能够设置多个索引的副本，副本的作用一是提高系统的容错性，当某个节点某个分片损坏或丢失时能够从副本中恢复。二是提高es的查询效率。es 会自己主动对搜索请求进行负载均衡。

recovery

代表数据恢复或叫数据又一次分布，es 在有节点增加或退出时会依据机器的负载对索引分片进行又一次分配，挂掉的节点又一次启动时也会进行数据恢复。

river

代表 es 的一个数据源，也是其他存储方式（如：数据库）同步数据到es的一个方法。它是以插件方式存在的一个 es 服务，通过读取 river 中的数据并把它索引到 es 中，官方的 river 有 couchDB、RabbitMQ、Twitter、Wikipedia。

gateway

代表 es 索引的持久化存储方式，es默认是先把索引存放到内存中，当内存满了时再持久化到硬盘。当这个 es 集群关闭再又一次启动时就会从 gateway 中读取索引数据。es 支持多种类型的 gateway。有本地文件系统（默认）。分布式文件系统。Hadoop 的 HDFS 和 amazon 的 s3 云存储服务。

discovery.zen

代表 es 的自己主动发现节点机制，es是一个基于 p2p 的系统，它先通过广播寻找存在的节点。再通过多播协议来进行节点之间的通信，同一时候也支持点对点的交互。

Transport

代表es 内部节点或集群与client的交互方式，默认内部是使用 tcp 协议进行交互。同一时候它支持 http 协议（json格式）、thrift、servlet、memcached、zeroMQ等的传输协议（通过插件方式集成）。