ELK系列一ELK简介elasticsearch安装部署
Posted 大力·橙子
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ELK系列一ELK简介elasticsearch安装部署相关的知识,希望对你有一定的参考价值。
一、ELK的基本介绍
1、ELK日志协议栈
- ELK是三个软件产品的首字母缩写,Elasticsearch,Logstash 和 Kibana。这三款软件都是开源软件,通常是配合使用,而且又先后归于 Elastic.co 公司名下,故被简称为 ELK 协议栈。
- Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
- Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。
- Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch
提供的日志分析友好的web UI界面,可以帮助汇总、分析、搜索重要数据日志。
名称 | 语言 | 描述 |
---|---|---|
ElasticSearch | Java | 实时的分布式搜索和分析引擎,他可以用于全文检索,结构化搜索以及分析,基于lucene、类似于Solr |
Logstash | JRuby | 具有实时渠道能力的数据收集引擎,包含输入、过滤、输出模块,一般在过滤模块中做日志格式化的解析工作 |
Kibana | javascript | 为ElasticSerach提供分析平台和可视化的Web平台。他可以ElasticSerach的索引中查找,呼唤数据,并生成各种维度的表图 |
2、ELK日志协议栈整体架构
3、ELK的参考资料
ELK官网:https://www.elastic.co/
ELK官网文档:https://www.elastic.co/guide/index.html
ELK中文手册:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
ELK中文社区:https://elasticsearch.cn/
二、Elasticsearch的安装、学习
1、关于Elasticsearch的简介
Elaticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
2、Elasticsearch在linux下的安装部署
第一步:创建普通用户
注意:ES不能使用root用户来启动,必须使用普通用户来安装启动。这里我使用以前创建的book用户来安装我们的es服务
第二步:下载并上传压缩包,然后解压
将es的安装包下载并上传到companynode01服务器的/book/soft,companynode01服务器使用es用户执行以下命令:
cd /book/soft/
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz
tar -zxvf elasticsearch-6.7.0.tar.gz -C /book/install
第三步:修改配置文件
- 修改elasticsearch.yml
companynode01服务器使用book用户来修改配置文件
cd /book/install/elasticsearch-6.7.0/config/
mkdir -p /book/install/elasticsearch-6.7.0/logs/
mkdir -p /book/install/elasticsearch-6.7.0/datas
vim elasticsearch.yml
修改为:
cluster.name: myes
node.name: companynode01
path.data: /book/install/elasticsearch-6.7.0/datas
path.logs: /book/install/elasticsearch-6.7.0/logs
network.host: 192.168.1.11
http.port: 9200
discovery.zen.ping.unicast.hosts: ["companynode01", "companynode02", "companynode03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
- 修改jvm.option
修改jvm.option配置文件
cd /book/install/elasticsearch-6.7.0/config
vim jvm.options
根据服务器的内存大小修改:
-Xms3g
-Xmx3g
第四步:将安装包分发到其他服务器上面
companynode01使用book用户将安装包分发到其他服务器上面去
cd /book/install/
scp -r elasticsearch-6.7.0/ companynode02:$PWD
scp -r elasticsearch-6.7.0/ companynode03:$PWD
第五步:companynode02与companynode03修改es配置文件
companynode02与companynode03也需要修改es配置文件(你配置的所有服务器都修改)
companynode02使用book用户执行以下命令修改es配置文件
cd /book/install/elasticsearch-6.7.0/config/
vim elasticsearch.yml
示例:companynode02修改为(修改为你当前服务器的配置,主要是节点名称和host):
cluster.name: myes
node.name: companynode02
path.data: /book/install/elasticsearch-6.7.0/datas
path.logs: /book/install/elasticsearch-6.7.0/logs
network.host: 192.168.1.12
http.port: 9200
discovery.zen.ping.unicast.hosts: ["companynode01", "companynode02", "companynode03"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow-origin: "*"
所有的服务器都按照上述思路修改。
第六步:修改系统配置,解决启动时候的问题
由于现在使用普通用户来安装es服务,且es服务对服务器的资源要求比较多,包括内存大小,线程数等。所以我们需要给普通用户解开资源的束缚
问题一:普通用户打开文件的最大数限制
问题错误信息描述:
max file descriptors [4096] for elasticsearch process likely too low,
increase to at least [65536]
ES因为需要大量的创建索引文件,需要大量的打开系统的文件,所以我们需要解除linux系统当中打开文件最大数目的限制,不然ES启动就会抛错
所有机器使用book用户执行以下命令解除打开文件数据的限制
sudo vim /etc/security/limits.conf
修改为
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
问题二:普通用户启动线程数限制
三台机器执行以下命令打开文件最大数
sudo vim /etc/sysctl.conf
修改为:
vm.max_map_count=655360
fs.file-max=655360
执行以下命令生效
sudo sysctl -p
注意:以上两个问题修改完成之后,一定要重新连接linux生效。关闭secureCRT或者XShell工具,然后重新打开工具连接linux即可
重新连接之后执行以下命令,出现这个结果即可准备启动ES了
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fR6SEIL2-1642729161832)(en-resource://database/4397:1)]
第七步:启动ES服务
所有机器使用book用户执行以下命令启动es服务
nohup /book/install/elasticsearch-6.7.0/bin/elasticsearch 2>&1 &
启动成功之后jsp即可看到es的服务进程,并且访问页面
http://companynode01:9200/?pretty
能够看到es启动之后的一些信息
注意:如果哪一台机器服务启动失败,那么就到哪一台机器配置的日志路径寻找错误,例如这里我的路径:
/book/install/elasticsearch-6.7.0/logs
在UI界面中出现如下图所示的界面,每台服务器都有即为成功启动
以上是关于ELK系列一ELK简介elasticsearch安装部署的主要内容,如果未能解决你的问题,请参考以下文章