Elasticsearch（简介及其单节点搭建）

Posted 2020-12-12 lhc-hhh

一，概述

---

 

官网地址：https://www.elastic.co/cn/products/elasticsearch
Elasticsearch是什么

　　ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web 接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Elasticsearch不仅仅是Lucene和全文搜索引擎，它还提供：

1. 分布式的搜索引擎和数据分析引擎
2. 全文检索
3. 对海量数据进行近实时的处理

ElasticSearch的应用场景

全文检索：主要和 Solr 竞争，属于后起之秀。

NoSQL JSON文档数据库：主要抢占 Mongo 的市场，它在读写性能上优于 Mongo ，同时也支持地理位置查 询，还方便地理位置和文本混合查询。

监控：统计、日志类时间序的数据存储和分析、可视化，这方面是引领者。

国外：Wikipedia（维基百科）使用ES提供全文搜索并高亮关键字、StackOverflow（IT问答网站）结合全文搜 索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码。

国内：百度（在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES，单集群每天导入30TB+数据， 总共每天60TB+）、新浪 、阿里巴巴、腾讯等公司均有对ES的使用。

使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)。

二 ，基本概念

---

 

RESTful介绍 

参考资料：
1. http://www.ruanyifeng.com/blog/2011/09/restful.html

2. http://www.ruanyifeng.com/blog/2018/10/restful-api-best-practices.html
REST : 表现层状态转化(Representational State Transfer)，如果一个架构符合REST原则，就称它为 RESTful 架构风 格。

资源： 所谓"资源"，就是网络上的一个实体，或者说是网络上的一个具体信息
表现层：我们把"资源"具体呈现出来的形式，叫做它的"表现层"（Representation）。

状态转化（State Transfer）：如果客户端想要操作服务器，必须通过某种手段，让服务器端发生"状态转 化"（State Transfer）。而这种转化是建立在表现层之上的，所以就是"表现层状态转化"。就是HTTP协议里 面，四个表示操作方式的动词：GET、POST、PUT、DELETE。它们分别对应四种基本操作：GET用来获取资 源，POST用来新建资源（也可以用于更新资源），PUT用来更新资源，DELETE用来删除资源。

Elasticsearch中涉及到的重要概念

接近实时（NRT）
　　Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延 迟（通常是1秒）

集群（cluster）
　　一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群 由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集 群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发 也是不错的。
节点（node）
　　一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类 似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在 启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服 务器对应于Elasticsearch集群中的哪些节点。
　　一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它 们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
　　在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点， 这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

索引（index）
　　一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索 引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这 个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。索引类似于关系型数据库中Database 的概念。在一个集群中，如果你想，可以定义任意多的索引。
类型（type）
　　在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来 定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数 据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可 以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。

文档（document）
　　一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然， 也可以拥有某个订单的一个文档。文档以JSON（javascript Object Notation）格式来表示，而JSON是一个到处存在 的互联网数据交互格式。
　　在一个index/type里面，只要你想，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之 中，文档必须被索引/赋予一个索引的type。文档类似于关系型数据库中Record的概念。实际上一个文档除了用户定 义的数据外，还包括 in d e x 、 type和_id字段

分片和复制（shards & replicas）
　　一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任 一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时 候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置 到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：

　　1，允许你水平分割/扩展你的内容容量

　    2，允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个 分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些 都是透明的。
　　在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因 消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分 片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。复制之所以重要，主要有两方面的原因：
1，在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要 （original/primary）分片置于同一节点上是非常重要的。 2，扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行
　　总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个 索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引 创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。
　　默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节 点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。一个 索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片 和复制分片的具体位置是由ES内在的策略所决定的。

映射（Mapping）
　　Mapping是ES中的一个很重要的内容，它类似于传统关系型数据中table的schema，用于定义一个索引（index）的 某个类型（type）的数据的结构。
　　在ES中，我们无需手动创建type（相当于table）和mapping(相关与schema)。在默认配置下，ES可以根据插入的数 据自动地创建type及其mapping。
　　mapping中主要包括字段名、字段数据类型和字段索引类

三、Elasticsearch环境搭建

准备工作

CentOS（版本需大于 7 如： C e n t O S - 7 - x 8 6 _6 4 - Minim al- 1 8 0 4.is o ）

Java(版本需大于 1.8 如： jd k - 8 u 1 8 1 -lin u x - x 6 4.r p m )

ES安装包（如： ela s tic s e a r c h - 6.4.0.t a r.g z

环境搭建

。。。此处省去jdk安装

安装ES

[root@localhost ~]# tar -zxvf elasticsearch-6.4.0.tar.gz -C /usr

启动

[root@localhost elasticsearch-6.4.0]# bin/elasticsearch

出现异常： Caused by: java.lang.RuntimeException: can not run elasticsearch as root 原因：ES不允许通过ROOT用户启动

解决方案：

 [root@localhost elasticsearch-6.4.0]# groupadd es
 [root@localhost elasticsearch-6.4.0]# useradd -g es es
 [root@localhost elasticsearch-6.4.0]# chown -R es:es /usr/elasticsearch-6.4.0/
 [root@localhost elasticsearch-6.4.0]# ll 
 total 436
 drwxr-xr-x.  3 es es   4096 Dec 18 01:15 bin
 drwxr-xr-x.  2 es es    178 Dec 18 01:16 config 
 drwxr-xr-x.  3 es es   4096 Aug 17 19:23 lib
 -rw-r--r--.  1 es es  13675 Aug 17 19:11 LICENSE.txt 
 drwxr-xr-x.  2 es es    218 Dec 18 01:16 logs 
 drwxr-xr-x. 27 es es   4096 Aug 17 19:23 modules -rw-r--r--.  1 es es 401465 Aug 17 19:22 NOTICE.txt 
 drwxr-xr-x.  2 es es      6 Aug 17 19:22 plugins -rw-r--r--.  1 es es   8511 Aug 17 19:11 README.textile
 [root@localhost elasticsearch-6.4.0]# su es
 [es@localhost elasticsearch-6.4.0]$ bin/elasticsearch

测试

[root@localhost ~]# curl -X GET localhost:9200 
{
    "name": "x0vIhEF",
    "cluster_name": "elasticsearch",
    "cluster_uuid": "Cpga8etSTu6LmcYm35QqkA",
    "version": {
        "number": "6.4.0",
        "build_flavor": "default",
        "build_type": "tar",
        "build_hash": "595516e",
        "build_date": "2018-08-17T23:18:47.308994Z",
        "build_snapshot": false,
        "lucene_version": "7.4.0",
        "minimum_wire_compatibility_version": "5.6.0",
        "minimum_index_compatibility_version": "5.0.0"
    },
    "tagline": "You Know, for Search"
}

配置远程访问

[root@localhost elasticsearch-6.4.0]# vim config/elasticsearch.yml 
51 #---------------------------------- Network---------------------------------- 
52 # 
53 # Set the bind address to a specific IP (IPv4 or IPv6): 
54 # 
55 network.host: 192.168.XX.XX
56 # 
57 # Set a custom port for HTTP: 
58 # 
59 #http.port: 9200 
60 # 
61 # For more information, consult the network module documentation. 
62 # 
63 # --------------------------------- Discovery ---------------------------------

重新启动ES服务，出现异常：

ERROR: [3] bootstrap checks failed 
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 
[2]: max number of threads [3802] for user [es] is too low, increase to at least [4096] 
[3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决（切换到root用户）：

[root@localhost elasticsearch-6.4.0]# vim /etc/security/limits.conf
# 添加以下内容 *   soft    nofile  65536 
*   hard    nofile  131072 
*   soft    nproc   2048
*   hard    nproc   4096

[root@localhost elasticsearch-6.4.0]# vim /etc/sysctl.conf
# 添加以下内容 vm.max_map_count=655360

[root@localhost elasticsearch-6.4.0]# sysctl -p
vm.max_map_count = 65536
[root@localhost elasticsearch-6.4.0]# reboot
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. 
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

测试访问