Elasticsearch - Elasticsearch 8.X；Elasticsearch 8.X集群

Posted 2022-09-19 MinggeQingchun

阅读本文前可先参考

Elasticsearch - Elasticsearch详解；安装部署（一）_MinggeQingchun的博客-CSDN博客

Elasticsearch - Elasticsearch集群Cluster（三）_MinggeQingchun的博客-CSDN博客

一、Elasticsearch 8.X 

距 2019 年 Elasticsearch 上一大版本 7.0 发布至今已经过去了 3 年

2022 年 2 月 11 日，Elasticsearch 发布了全新的 8.0 正式版本，新版本中通过改进 Elasticsearch 的矢量搜索功能、对现代自然语言处理模型的原生支持、不断简化的数据上线过程，以及精简的安全防护体验，在速度、扩展幅度、相关 性和简便性方面，让搜索引擎技术迎来了一个全新的时代！

Elasticsearch 新特性

1、减少内存堆使用，完全支持 ARM 架构，引入全新的方式以使用更少的存储空间，从而让每个节点托管更多的数据

2、降低查询开销，在大规模部署中成效尤为明显

3、提高日期直方图和搜索聚合的速度，增强了页面缓存的性能，并创建了一个新的 “pre-filter”搜索短语

在最新发布的 8.0 版本中，增加和完善了很多新的功能

4、增加对自然语言处理 (NLP) 模型的原生支持，让矢量搜索功能更容易实现，让客户和员工能够使用他们自己的文字和语言来搜索并收到高度相关的结果

5、直接在 Elasticsearch 中执行命名实体识别、情感分析、文本分类等，而无需使用额外 的组件或进行编码

6、Elasticsearch 8.0 基于 Lucene 9.0 开发的，那些利用现代 NLP 的搜索体验，都可以借助（新增的）对近似最近邻搜索的原生支持，快速且大规模地实现。通过 ANN，可以快速并高效地将基于矢量的查询与基于矢量的文档语料库（无论是小语料库、大语料库还是巨型语料库）进行比较

7、可以直接在 Elasticsearch 中使用 PyTorch Machine Learning 模型（如 BERT），并在Elasticsearch 中原生使用这些模型执行推理

二、Elasticsearch 8.X 安装使用

（一）Elasticsearch 与 Java版本选择推荐及总结

Elasticsearch 和 JVM 支持矩阵

支持矩阵 | Elastic

Elasticsearch（5.x、6.x、7.x、8.x）的兼容性

支持矩阵 | Elastic

1、ES 7.x 及之前版本，选择 Java 8

2、ES 8.x 及之后版本，选择 Java 17 或者 Java 18，建议 Java 17，因为对应版本的 Logstash 不支持 Java 18

（1）对于ES 8.0：Java版本仅支持 Java 17，别无选择

（2）对于ES 8.1及以上版本：支持Java 17 以及 Java 18，建议 Java 17，因为对应版本的Logstash 不支持 Java 18

3、Java 9、Java 10、Java 12 和 Java 13 均为短期版本，不推荐使用

4、M1（Arm） 系列 Mac 用户建议选择 ES 7.8.x 以上版本，因为考虑到 ELK 不同产品自身兼容性，7.8.x以上版本原生支持 Arm 原生 JDK

（二）Java 17安装下载

Elasticsearch是使用Java开发的，8.1版本的ES需要JDK17及以上版本。默认安装包中带有JDK环境，如果系统配置ES_JAVA_HOME环境变量，那么会采用系统配置的.JDK。如果没有配置该环境变量，ES会使用自带捆绑的JDK。虽然自带的JDK是 ES软件推荐的Java版本，但一般建议使用系统配置的JDK 

Java官网地址：

Java Software | Oracle

Java 软件 | Oracle 中国

Java下载地址：

Java Downloads | Oracle

Java所有版本下载地址：

JDK Release Notes

可参考

Java--Java版本和JDK版本_MinggeQingchun的博客-CSDN博客_java最新版本是多少

（三）Elasticsearch8.1 集群安装下载

注：

1、因博主未升级JDK1.8至JDK17、JDK18；但是ES7.16.X是能兼容JDK1.8和JDK17、JDK18的，因此以安装ES7.16.0为例

2、博主通过虚拟机VMware Workstations仅安装2台配置ES集群

可参考

Elasticsearch - Elasticsearch集群Cluster（三）_MinggeQingchun的博客-CSDN博客

Elasticsearch官网地址：

免费且开放的搜索：Elasticsearch、ELK 和 Kibana 的开发者 | Elastic

Elasticsearch下载地址： 

Past Releases of Elastic Stack Software | Elastic

1、集群搭建规划

准备三台 linux 虚拟机，用于配置 Elasticsearch 集群；启动集群后

主机名	esLinux1	esLinux2
进程名	Elasticsearch （es-node-1）	Elasticsearch （es-node-2）

2、上传压缩包，解压

将 elasticsearch-7.16.0-linux-x86_64.tar.gz 上传至 目标目录 /opt/software

执行解压缩命令 

tar -zxvf elasticsearch-7.16.0-linux-x86_64.tar.gz -C /opt/software/

目录结构如下

3、配置JDK

当前安装Elasticsearch版本为7.16.0，自带JDK，无需配置Java环境

4、创建 linux 新用户 es, 数据文件，证书目录, 并修改 Elasticsearch 文件拥有者

注：

因为安全问题，Elasticsearch 不允许 root 用户直接运行，所以要创建新用户，在 root 用户中创建新用户

# 新增 es 用户
useradd es
# 为 es 用户设置密码
passwd es

# 创建数据文件目录
mkdir /opt/software/elasticsearch-7.16.0/data
# 创建证书目录
mkdir /opt/software/elasticsearch-7.16.0/config/certs

#切换目录
cd /opt/software/elasticsearch-7.16.0
# 修改文件拥有者
chown -R es:es /opt/software/elasticsearch-7.16.0

5、在第一台服务器节点 es-node-1 设置集群多节点通信密钥

# 切换用户
su es

# 签发 ca 证书（过程中需按两次回车键）
bin/elasticsearch-certutil ca

# 用 ca 证书签发节点证书（过程中需按三次回车键）
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12

# 将生成的证书文件移动到 config/certs 目录中
mv elastic-stack-ca.p12 elastic-certificates.p12 config/certs

  

6、在第一台服务器节点 es-node-1 设置集群多节点 HTTP 证书

# 签发 Https 证书
bin/elasticsearch-certutil http

以下是每次要求输入时，需要输入的内容 

指定证书路径 无需输入密码 设置证书失效时间 无需每个节点配置证书

输出连接到第一个节点的所有主机名称

输出连接到第一个节点的所有主机 IP 地址 不改变证书选项配置

不给证书加密，按键输入两次回车

解压刚刚生成的 zip 包

# 解压文件
unzip elasticsearch-ssl-http.zip

将解压后的证书文件移动到 config/certs 目录中

# 移动文件
mv elasticsearch/http.p12 kibana/elasticsearch-ca.pem config/certs

7、修改主配置文件：config/elasticsearch.yml

# 设置 ES 集群名称
cluster.name: es-cluster 
# 设置集群中当前节点名称
node.name: es-node-1
# 设置数据，日志文件路径
path.data: /opt/software/elasticsearch-7.16.0/data
path.logs: /opt/software/elasticsearch-7.16.0/logs
# 设置网络访问节点
network.host: esLinux1

# 设置网络访问端口
http.port: 9200

# 初始节点
discovery.seed_hosts: ["esLinux1"]

# 安全认证
xpack.security.enabled: true
xpack.security.enrollment.enabled: true
xpack.security.http.ssl:
 enabled: true
 keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
 truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/http.p12
xpack.security.transport.ssl:
 enabled: true
 verification_mode: certificate
 keystore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12
 truststore.path: /opt/software/elasticsearch-7.16.0/config/certs/elastic-certificates.p12

# 此处需注意，es-node-1 为上面配置的节点名称
cluster.initial_master_nodes: ["es-node-1"]
http.host: [_local_, _site_]
ingest.geoip.downloader.enabled: false
xpack.security.http.ssl.client_authentication: none

8、启动ES 

# 启动 ES 软件
bin/elasticsearch

注：

第一次成功启动后，会显示密码，请记住，访问时需要。只有第一次才有！！！

如果 没有注意到或没有找到账号密码，可以设置免密登录：

# Enable security features
xpack.security.enabled: false

✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.

ℹ️  Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):
 密码xxxxx



❌ Unable to generate an enrollment token for Kibana instances, try invoking `bin/elasticsearch-create-enrollment-token -s kibana`.

ℹ️  Configure other nodes to join this cluster:
• On this node:
  ⁃ Create an enrollment token with `bin/elasticsearch-create-enrollment-token -s node`.
  ⁃ Uncomment the transport.host setting at the end of config/elasticsearch.yml.
  ⁃ Restart Elasticsearch.
• On other nodes:
  ⁃ Start Elasticsearch with `bin/elasticsearch --enrollment-token <token>`, using the enrollment token that you generated.

9、 访问服务器节点 https://虚拟机地址:9200

10、修改集群中其他节点的配置文件：config/elasticsearch.yml

证书直接拷贝，其他步骤完全相同，配置文件中修改如下内容即可

# 设置节点名称
node.name: es-node-2
# 设置网络访问主机
network.host: esLinux2

（四）踩坑

1、main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile

main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile: java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender

原因：

在安装elasticsearch时，新建的logs目录是用root用户建的，因此，logs下的文件是root用户权限，因此，将该权限改为非root用户即可

解决方法：修改权限 

su root
cd /opt/software/elasticsearch-7.16.0/

chown -R es ./logs/
chgrp -R es ./logs/

2、被自动killed

原因：

Elasticsearch在启动过程中被自动killed，是内存不够了，由于ES是运行在JVM上，JVM本身除了分配的heap内存以外，还会用到一些堆外(off heap)内存。 在小内存的机器上跑ES，如果heap划分过多，累加上堆外内存后，总的JVM使用内存量可能超过物理内存限制。 如果swap又是关闭的情况下，就会被操作系统oom killer杀掉

解决办法：

修改ES中目录下的config/jvm.options文件

将
-Xms4g
-Xmx4g

改为
-Xms1g
-Xmx1g