Elasticsearch环境快速搭建以及注意点

Posted oilamp

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Elasticsearch环境快速搭建以及注意点相关的知识,希望对你有一定的参考价值。

本文主要说明使用docker搭建开发用Elasticsearch的相关要点,包含有:

搭建Elasticsearch集群docker环境

搭建Kibana的docker环境

 

一、搭建Elasticsearch环境

docker下存在两个标准的Elasticsearch镜像,分别为elasticsearch:latest 和 docker.elastic.co/elasticsearch/elasticsearch ,前者目前的Elasticsearch版本为5.*,版本略微落后;后者最新版本为 7.6.0 。

本文使用后者,部署为单节点的集群,并且通过内置x-pack开通SSL安全加密和Basic账号密码登录。

1,首先,创建cert证书,并存储于本地docker volume中备用。

 1 [~/docker-compose/elasticsearch]$ cat create_certs.yaml
 2 version: "3"
 3 services:
 4   create_certs:
 5     image: docker.elastic.co/elasticsearch/elasticsearch:7.6.0
 6     command: >
 7       bash -c  8         yum install -y -q -e 0 unzip;
 9         if [[ ! -f /certs/bundle.zip ]]; then
10           bin/elasticsearch-certutil cert --silent --pem --in config/certificates/instances.yml -out /certs/bundle.zip;
11           unzip /certs/bundle.zip -d /certs;
12         fi;
13         chown -R 1000:0 /certs
14       15     user: "0"
16     working_dir: /usr/share/elasticsearch
17     volumes:
18       - certs:/certs
19       - .:/usr/share/elasticsearch/config/certificates
20 volumes:
21   certs:

执行上述一次性命令(执行过程中,所需要的instances.yml文件参见下文),并妥善保管该volume(certs)

1 docker-compose -f create_certs.yaml run --rm create_certs

执行成功后,应该可以看见如下结果

1 [~/docker-compose/elasticsearch]$ docker volume ls
2 DRIVER              VOLUME NAME
3 local               elasticsearch_certs

执行过程中,所需要的instances.yml文件如下:

1 [~/docker-compose/elasticsearch]$ cat instances.yml
2 instances:
3   - name: es01
4     dns:
5       - es01
6       - localhost
7     ip:
8       - 127.0.0.1%

注意,其中的es01,应该对应部署es集群节点的服务器的主机名,此处由于是docker环境,因此应该为docker-compose的service的名字(以在docker container中可以正常ping通该字符串到对应container为标准),若集群存在多个节点,则应该列出多个主机名

然后正式启动Elasticsearch集群:

 1 [~/docker-compose/elasticsearch]$ cat docker-compose.yaml
 2 version: "3"
 3 services:
 4   es01:
 5     image: docker.elastic.co/elasticsearch/elasticsearch:7.6.0
 6     environment:
 7       # - "discovery.type=single-node"
 8       - node.name=es01
 9       - cluster.name=es-docker-cluster
10       - discovery.seed_hosts=es01
11       - cluster.initial_master_nodes=es01
12       - cluster.max_shards_per_node=10000
13       - bootstrap.memory_lock=true
14       - action.destructive_requires_name=false
15       - ELASTIC_PASSWORD=abc
16       # - ELASTIC_PASSWORD_FILE=/run/secrets/bootstrapPassword.txt
17       - xpack.security.enabled=true
18       - xpack.security.http.ssl.enabled=true
19       - xpack.security.http.ssl.key=/usr/share/elasticsearch/config/certs/es01/es01.key
20       - xpack.security.http.ssl.certificate_authorities=/usr/share/elasticsearch/config/certs/ca/ca.crt
21       - xpack.security.http.ssl.certificate=/usr/share/elasticsearch/config/certs/es01/es01.crt
22       - xpack.security.transport.ssl.enabled=true
23       - xpack.security.transport.ssl.verification_mode=none
24       - xpack.security.transport.ssl.certificate_authorities=/usr/share/elasticsearch/config/certs/ca/ca.crt
25       - xpack.security.transport.ssl.certificate=/usr/share/elasticsearch/config/certs/es01/es01.crt
26       - xpack.security.transport.ssl.key=/usr/share/elasticsearch/config/certs/es01/es01.key
27       - reindex.remote.whitelist=10.20.1.*:9200,127.0.10.*:9200, localhost:*
28       - "http.cors.enabled=true"
29       - "http.cors.allow-origin=*"
30       - "http.cors.allow-headers=Authorization,X-Requested-With,Content-Length,Content-Type"
31       - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
32     ports:
33       - "9200:9200"
34       - "9300:9300"
35     ulimits:
36       memlock:
37         soft: -1
38         hard: -1
39     volumes:
40       - ./data01:/usr/share/elasticsearch/data
41       - certs:/usr/share/elasticsearch/config/certs
42       - ./plugins:/usr/share/elasticsearch/plugins
43 volumes:
44   certs:
45     driver: local

此处挂载前面步骤创建的certs volume进行使用;

注意:

1)若在前面的步骤中,不创建volume而是直接将证书生成在本地目录,则此地挂在本地目录时,应该妥善处理目录以及其中文件的属主和权限;

2)certs卷必须挂载到路径 /usr/share/elasticsearch/config 下,否则启动时报错,原因为ES安全规则不允许;但若直接挂载为 /usr/share/elasticsearch/config 目录则会覆盖该目录中的其他默认配置文件,因此此处挂载为其子目录

3)对于ES标准配置文件中支持的配置,均可以在environment节中通过环境变量的方式进行配置,当然,也可以提供自己的完整的配置文件(对于docker镜像elasticsearch:latest,提供这些配置的方式为提供command段,以- -Exxxx: xxxx的方式处理)

至此,ES成功启动,可在浏览器中通过  https://localhost:9200 地址进行访问,默认的用户名为  elastic  ,密码在上述配置文件中配置,为 abc  。

注意:

1)在Firefox浏览器和Safari中,需要按照页面提示忽略证书警告

2)在Chrome内核系列浏览器,则根据不同环境和版本而不同,部分可以按照页面提示忽略证书警告,部分需要将浏览器地址栏前报警的SSL证书导入信任证书列表

 

启动kibana

使用如下docker-compose.yaml启动kibana

 1   kibana:
 2     image: docker.elastic.co/kibana/kibana:7.6.0
 3     environment:
 4       # SERVER_HOST: "0.0.0.0"
 5       ELASTICSEARCH_HOSTS: "https://es01:9200"
 6       ELASTICSEARCH_SSL_VERIFICATIONMODE: none
 7       ELASTICSEARCH_USERNAME: elastic
 8       ELASTICSEARCH_PASSWORD: abc
 9       I18N_LOCALE: zh_CN
10     links:
11       - "es01"
12     ports:
13       - 5601:5601

注意点:

1)kibana的镜像版本需要与ES的版本保持一致;若不一致,不保证不出问题

2)标准kibana的配置文件kibana.yml中的配置,均可以使用Spring的标准配置项的环境变量映射方式在 environment 段进行配置;具体标准简述:字母一律转换为大写,分割用的 . 号和中划线 - 一律转换为下划线 _ 

 

至此,部署完毕。

 

以上是关于Elasticsearch环境快速搭建以及注意点的主要内容,如果未能解决你的问题,请参考以下文章

一文教您如何通过 Docker 快速搭建各种测试环境(Mysql, Redis, Elasticsearch, MongoDB) | 建议收藏

Elk环境篇 --- 本地快速搭建你的ElasticSearch及Kibana

1-快速搭建ELK环境

Elasticsearch源码解析:环境搭建

渣渣菜鸡的 ElasticSearch 源码解析 —— 环境搭建

Docker快速搭建SkyWalking[ OAP & UI[登录] & Elasticsearch]